日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

破壞式學(xué)習(xí)Kubernetes:從kubelet到containerd的故障排查實(shí)戰(zhàn)

破壞式學(xué)習(xí)Kubernetes:從kubelet到containerd的故障排查實(shí)戰(zhàn) 1. 寫在前面為什么我推薦用“破壞式”學(xué)習(xí) Kubernetes第五篇了我先把話說在前面這篇文章不是給你講 kubectl get pods 怎么用也不是抄一遍 Kubernetes 官方文檔。我想分享的是一套我自己驗(yàn)證過、也一直在帶新人時(shí)用的學(xué)習(xí)方式——把集群“故意搞壞”再一步步修好。在這個(gè)破壞、觀察、修復(fù)、復(fù)盤的過程中Kubernetes 的組件邊界、調(diào)用鏈、故障表象都會(huì)變得異常清晰。我?guī)У倪\(yùn)維新人經(jīng)常問我“Kubernetes 概念太多了Pod、Deployment、Service、Ingress、CRI、OCI、CNI、CSI……學(xué)完就忘怎么才能記住”我給的答案很簡(jiǎn)單去把一個(gè)正在運(yùn)行的 Pod 弄掛把一個(gè)節(jié)點(diǎn)標(biāo)記成 NotReady把 CoreDNS 副本數(shù)縮到 0然后親手把它們修好。你踩過一次 ImagePullBackOff 的坑比背十遍 kubelet 工作原理都管用。這一篇是系列第五篇前四篇我們已經(jīng)把 Kubernetes 的架構(gòu)組成、集群部署、工作負(fù)載、網(wǎng)絡(luò)與存儲(chǔ)都過了一遍。這一篇我打算徹底換一個(gè)畫風(fēng)先跟你把 kubelet 到 containerd 的實(shí)體調(diào)用鏈捋明白因?yàn)檫@是所有“運(yùn)行時(shí)相關(guān)故障”的底層邏輯然后基于這條調(diào)用鏈把從 Pod 到集群的 20 類常見故障全部分類拆開講清楚再分享一套我自己的排錯(cuò)方法、排查命令和破壞式實(shí)驗(yàn)設(shè)計(jì)最后把這些實(shí)戰(zhàn)經(jīng)驗(yàn)對(duì)應(yīng)到 Kubernetes 面試高頻題上。內(nèi)容有點(diǎn)長(zhǎng)但都是可以直接抄作業(yè)的。2. 先搞懂調(diào)用鏈kubelet 到底是怎么調(diào)用 containerd 的做故障排查之前我建議先把“一次 Pod 創(chuàng)建”背后的調(diào)用鏈刻在腦子里。因?yàn)榧豪?80% 的運(yùn)行時(shí)故障表象千奇百怪本質(zhì)都是這條鏈路上某個(gè)環(huán)節(jié)斷了。你只有知道了正常的時(shí)候數(shù)據(jù)是怎么流的才能在異常的時(shí)候快速定位斷點(diǎn)。2.1 從 kubelet 到 CRI一層抽象解決“運(yùn)行時(shí)”之爭(zhēng)Kubernetes 早期版本是直接內(nèi)置支持 Docker 的kubelet 通過 Docker API 操作容器。后來容器運(yùn)行時(shí)越來越多containerd、CRI-O、Kata Containers 紛紛登場(chǎng)Kubernetes 社區(qū)做了一個(gè)很重要的決定抽象出一層 CRIContainer Runtime Interface用一套統(tǒng)一的 gRPC 接口把 kubelet 和具體的容器運(yùn)行時(shí)解耦。CRI 定義了兩類核心服務(wù)RuntimeService管理 Pod 沙箱Sandbox和容器生命周期比如 RunPodSandbox、CreateContainer、StartContainer、StopContainer。ImageService管理鏡像比如 PullImage、ListImages、RemoveImage。你可以把 CRI 理解成一個(gè)“電源插座”kubelet 只需要認(rèn)準(zhǔn)插座規(guī)格至于插座后面插的是 containerd 還是 CRI-O它不關(guān)心。而 containerd 為了接入 Kubernetes在它內(nèi)部實(shí)現(xiàn)了一個(gè) CRI Plugin在 config.toml 里通常能看到它把 containerd 原生的 API 翻譯成了 CRI 語(yǔ)義。這一層翻譯是理解整套調(diào)用鏈的鑰匙。2.2 一次 Pod 創(chuàng)建到底發(fā)生了什么實(shí)體調(diào)用鏈我直接用文字把這條鏈路一步步畫出來你在看的時(shí)候可以想象自己在追一條請(qǐng)求你執(zhí)行 kubectl run 或者創(chuàng)建 Deployment請(qǐng)求先到 kube-apiserver經(jīng)過認(rèn)證、授權(quán)、準(zhǔn)入控制后寫入 etcd。kube-scheduler 通過 watch 機(jī)制發(fā)現(xiàn)這個(gè)新 Pod經(jīng)過調(diào)度算法選出一個(gè)最合適的節(jié)點(diǎn)并把調(diào)度結(jié)果寫回 API Server。目標(biāo)節(jié)點(diǎn)上的 kubelet 通過 watch 拿到這個(gè) Pod進(jìn)入 syncPod 流程。kubelet 調(diào)用內(nèi)部的 Container Runtime Manager由它通過 CRI 客戶端向 containerd 的 CRI Plugin 發(fā)起 gRPC 請(qǐng)求。首個(gè)請(qǐng)求通常是 RunPodSandbox。containerd 的 CRI Plugin 會(huì)先去拉取 sandbox_image默認(rèn)就是 pause 鏡像然后通過 containerd 的 Task Service 啟動(dòng)一個(gè) pause 容器作為整個(gè) Pod 的網(wǎng)絡(luò)、IPC、UTS 等命名空間的“錨點(diǎn)”同時(shí)調(diào)用 CNI 插件完成 Pod 網(wǎng)絡(luò)配置。沙箱創(chuàng)建完成后kubelet 繼續(xù)發(fā)起 CreateContainer、StartContainer 請(qǐng)求containerd 開始真正創(chuàng)建業(yè)務(wù)容器。此時(shí) containerd 會(huì)為這個(gè)容器拉起一個(gè)獨(dú)立的 containerd-shim 進(jìn)程我這套環(huán)境里是 containerd-shim-runc-v2。shim 進(jìn)程負(fù)責(zé)調(diào)用 runc create、runc start最終由 runc 通過 Linux 內(nèi)核的 namespace、cgroup、mount 等機(jī)制把容器真正跑起來。這里有兩個(gè)特別容易忽略的實(shí)體pause 容器。它是 Pod 里最先被創(chuàng)建、生命周期貫穿始終的“占位容器”。業(yè)務(wù)容器無論怎么重啟只要 pause 在Pod 的網(wǎng)絡(luò)標(biāo)識(shí)和沙箱資源就不會(huì)變。這也是為什么你在節(jié)點(diǎn)上用 crictl ps 會(huì)看到每個(gè) Pod 都對(duì)應(yīng)一個(gè) pause 容器。containerd-shim。它的存在是為了不讓 containerd 主進(jìn)程直接當(dāng)容器的父進(jìn)程。這樣一來containerd 重啟、升級(jí)都不會(huì)殺掉正在運(yùn)行的容器。每個(gè) shim 對(duì)應(yīng)一個(gè)容器它負(fù)責(zé)接管容器的標(biāo)準(zhǔn)輸入輸出、退出狀態(tài)上報(bào)并作為 runc 和 containerd 之間的中間人。2.3 順著 socket 摸下去在節(jié)點(diǎn)上“眼見為實(shí)”原理講再多不如自己在節(jié)點(diǎn)上敲幾條命令。Kubernetes 和 containerd 之間是 gRPC 通信socket 文件一般位于 /run/containerd/containerd.sock。kubelet 的啟動(dòng)參數(shù)里一般有--container-runtime-endpointunix:///run/containerd/containerd.sock你可以先在節(jié)點(diǎn)上看一下這個(gè) socket 是否真實(shí)存在ls -l /run/containerd/containerd.sock然后重點(diǎn)練熟 crictl 這一組命令它是我們排障時(shí)最順手的工具因?yàn)?crictl 走的正是 CRI 接口也就是說你手動(dòng)用 crictl 操作的路徑和 kubelet 調(diào)用 containerd 的路徑是同一個(gè)非常有助于把調(diào)用鏈“實(shí)體化”crictl pods查看節(jié)點(diǎn)上的 Pod 沙箱列表。crictl ps -a查看所有容器包含已退出的注意區(qū)分 sandbox 容器和業(yè)務(wù)容器。crictl inspect 查看單個(gè)容器的詳細(xì) spec、掛載、PID 等。crictl logs 直接拿容器日志不經(jīng)過 kubectl。crictl pull手動(dòng)拉鏡像復(fù)現(xiàn) ImagePullBackOff 時(shí)好用。另外還有一套工具鏈?zhǔn)?ctr namespaces list它直接調(diào)用 containerd 原生 API和 crictl 的視角不同。兩者區(qū)別要搞清楚crictl 是 CRI 視角能看懂 Pod 和容器ctr 是 containerd 原生視角看不到 Pod 概念。排障時(shí)優(yōu)先用 crictl涉及 containerd 底層鏡像、快照、事件時(shí)再用 ctr 輔助。2.4 原理照進(jìn)排錯(cuò)調(diào)用鏈能幫你做什么為什么要花這么大力氣講調(diào)用鏈因?yàn)楣收吓挪榈谋举|(zhì)就是沿著這條鏈逐段做排除。舉個(gè)例子業(yè)務(wù)容器一直 CreateContainerErrorkubectl describe pod 里只顯示一句失敗的容器創(chuàng)建很多人就懵了。但如果你知道這條鏈?zhǔn)?kubelet → CRI → containerd → shim → runc你的排查思路立刻就有了第一段kubelet 是否正???journalctl -u kubelet。第二段CRI 接口是否通直接 crictl ps 看能不能連上 containerd socket。第三段containerd 是否正常看 journalctl -u containerd 和 containerd 的日志。第四段runc 啟動(dòng)容器時(shí)內(nèi)核報(bào)了什么錯(cuò)看 containerd 日志里帶 runc 字樣的 Error。順序排查永遠(yuǎn)比盯著 kubelet 日志硬猜要快。后面我們講故障分類時(shí)你會(huì)發(fā)現(xiàn)所有故障最終都能落到這條鏈路的具體某一段上。3. 從 Pod 到集群20 類常見故障全解析接下來進(jìn)入正題。我把平時(shí)線上和測(cè)試環(huán)境里遇過的高頻故障按“從 Pod 到集群”的維度整理成 20 類。先給一張速查表再挑幾類最容易讓人卡殼的展開講排查邏輯和修復(fù)手法。3.1 一張速查表先打底故障現(xiàn)象、根因、排查命令層級(jí)故障現(xiàn)象常見根因核心排查命令處理方向PodImagePullBackOff鏡像名錯(cuò)誤、倉(cāng)庫(kù)不存在、認(rèn)證失敗kubectl describe pod修鏡像名、配 imagePullSecretPodErrImageNeverPullimagePullPolicyNever 但本地?zé)o鏡像kubectl describe pod換鏡像拉取策略或預(yù)置鏡像PodInvalidImageName鏡像名不合法kubectl describe pod修正鏡像格式PodCrashLoopBackOff啟動(dòng)命令失敗、配置錯(cuò)誤、依賴未就緒kubectl logs、kubectl describe pod修應(yīng)用啟動(dòng)邏輯PodOOMKilled容器內(nèi)存超 limitkubectl describe pod調(diào) resources.limitsPodPending資源不足、親和性/污點(diǎn)不滿足、PVC 未綁定kubectl describe pod擴(kuò)容、調(diào)整調(diào)度約束PodCreateContainerError鏡像或運(yùn)行時(shí)層錯(cuò)誤crictl ps -a、journalctl -u kubelet看 containerd 日志PodCreateContainerConfigErrorConfigMap/Secret 不存在或字段缺失kubectl describe pod檢查引用資源PodRunContainerError運(yùn)行時(shí)啟動(dòng)容器失敗journalctl -u containerd看 runc 報(bào)錯(cuò)PodDeadlineExceededPod 終止超時(shí)kubectl get pod -o yaml調(diào) terminationGracePeriod 或強(qiáng)刪PodInit:CrashLoopBackOffinitContainer 反復(fù)失敗kubectl logs pod -c init容器修初始化邏輯節(jié)點(diǎn)NotReadykubelet 心跳中斷、運(yùn)行時(shí)異常kubectl describe node、journalctl -u kubelet逐段排查 kubelet節(jié)點(diǎn)DiskPressure節(jié)點(diǎn)磁盤到達(dá)驅(qū)逐閾值df -h、crictl rmi 清理鏡像清鏡像、清日志、加磁盤節(jié)點(diǎn)MemoryPressure節(jié)點(diǎn)內(nèi)存不足free -m驅(qū)逐 Pod、加節(jié)點(diǎn)節(jié)點(diǎn)PIDPressurePID 耗盡cat /proc/sys/kernel/pid_max、ps -eLf查進(jìn)程泄漏網(wǎng)絡(luò)DNS 解析失敗CoreDNS 異常、上游 DNS 失效kubectl exec -it pod -- nslookup查 CoreDNS 狀態(tài)網(wǎng)絡(luò)Service 不通Endpoints 為空、kube-proxy 規(guī)則異常kubectl get endpoints、iptables-save查 selector網(wǎng)絡(luò)跨節(jié)點(diǎn) Pod 不通CNI 配置異常、underlay 丟包ping、traceroute、查 CNI 日志查 CNI 插件網(wǎng)絡(luò)NodePort 訪問不通防火墻、安全組、端口占用ss -lntp檢查集群外鏈路存儲(chǔ)PV/PVC 掛載失敗StorageClass 不存在、權(quán)限不足kubectl describe pvc檢查存儲(chǔ)插件與權(quán)限3.2 Pod 生命周期類從 ImagePullBackOff 到 OOMKilled先講出現(xiàn)頻率最高的 ImagePullBackOff。它的表象是 Pod 卡在 ContainerCreatingEvents 里能看到 Failed to pull image。我從排查動(dòng)作給你拆開第一步kubectl describe pod 看 Events 里的具體報(bào)錯(cuò)。如果報(bào) ErrImagePull多半是鏡像倉(cāng)庫(kù)路徑寫錯(cuò)、鏡像不存在、或者倉(cāng)庫(kù)需要認(rèn)證。注意有時(shí)候鏡像名寫對(duì)了但 tag 打錯(cuò)了也會(huì)報(bào)同樣的錯(cuò)誤。第二步手動(dòng)在節(jié)點(diǎn)上用 crictl pull 拉一次相同鏡像。這一步能排除“kubelet 到鏡像倉(cāng)庫(kù)的網(wǎng)絡(luò)問題”和“倉(cāng)庫(kù)本身問題”。第三步如果是私有倉(cāng)庫(kù)檢查 Pod 里是否配置了 imagePullSecrets。我踩過最隱蔽的坑是secret 存在但 service account 沒綁定kubelet 壓根沒把 secret 帶給 containerd。再看 CrashLoopBackOff。這個(gè)狀態(tài)說明容器起來了但啟動(dòng)后立刻退出然后又重啟反復(fù)循環(huán)。很多人一看到這個(gè)狀態(tài)就慌了其實(shí)排查路徑非常固定kubectl logs 拿標(biāo)準(zhǔn)輸出和錯(cuò)誤輸出看應(yīng)用為什么退出。如果日志為空加 --previous 看上一次容器的日志。如果應(yīng)用是 init 進(jìn)程直接退出可能是 entrypoint 腳本問題如果涉及依賴服務(wù)數(shù)據(jù)庫(kù)、配置中心優(yōu)先看網(wǎng)絡(luò)和配置能否連通。我覺得 CrashLoopBackOff 最容易翻車的地方是進(jìn)程“假啟動(dòng)”。比如一個(gè) Java 應(yīng)用JVM 起來了但連不上配置中心又在代碼里設(shè)了啟動(dòng)失敗即退出。這時(shí)候日志可能會(huì)在啟動(dòng)后 30 秒才刷出來需要耐心看完整日志。然后是 OOMKilled。表象是容器狀態(tài)顯示 OOMKilled退出碼 137。根因往往是容器內(nèi)存超過 resources.limits被 cgroup OOM killer 殺掉。排查時(shí)kubectl describe pod 能看到最后狀態(tài)是 OOMKilled以及 reason 為 OOMKilled。用 free -m 看節(jié)點(diǎn)內(nèi)存再用 crictl stats 看各容器真實(shí)內(nèi)存占用。如果應(yīng)用是 Java注意 JVM 默認(rèn)堆大小可能和容器 limits 不匹配。我的經(jīng)驗(yàn)是壓測(cè)環(huán)境下這類問題特別多JVM 還沒觸發(fā)自己的 OOM就先被 cgroup 殺了。3.3 節(jié)點(diǎn)與 kubeletNotReady、磁盤壓力、運(yùn)行時(shí)失聯(lián)節(jié)點(diǎn)層故障牽扯面大因?yàn)橐粋€(gè)節(jié)點(diǎn)掛掉上面所有 Pod 都要重建對(duì)業(yè)務(wù)的影響往往呈指數(shù)級(jí)放大。先看 kubectl get node 輸出里 STATUS 為 NotReady 的節(jié)點(diǎn)再用 kubectl describe node 查看 Conditions里面會(huì)寫明當(dāng)前節(jié)點(diǎn)處于哪種壓力狀態(tài)。NotReady 最常見的三種原因我按概率排一下kubelet 與 API Server 的通信斷了??赡苁蔷W(wǎng)絡(luò)問題、證書過期、或 kubelet 本身崩潰。排查命令是 journalctl -u kubelet -f一定要看實(shí)時(shí)日志因?yàn)楹芏鄨?bào)錯(cuò)轉(zhuǎn)瞬即逝。節(jié)點(diǎn)負(fù)載過高導(dǎo)致 kubelet 的心跳上報(bào)超時(shí)。這時(shí)候 ssh 上節(jié)點(diǎn)top、free、df 三連看優(yōu)先確認(rèn)資源水位。容器運(yùn)行時(shí)掛了。也就是 containerd 進(jìn)程異常kubelet 調(diào)用 CRI 接口超時(shí)被迫把節(jié)點(diǎn)標(biāo)記為 NotReady。排查 containerd 狀態(tài)systemctl status containerd、journalctl -u containerd。DiskPressure、MemoryPressure、PIDPressure 這三類壓力本質(zhì)都是節(jié)點(diǎn)資源達(dá)到驅(qū)逐閾值kubelet 開始按照 QoS 等級(jí)驅(qū)逐 Pod。排查時(shí)DiskPressuredf -h 看根分區(qū)和容器數(shù)據(jù)目錄分區(qū)。很多時(shí)候是容器日志、鏡像、已停止容器殘留占滿磁盤。清理思路是先刪無用的鏡像crictl rmi再清理日志journalctl --vacuum-size最后看有沒有被誤寫進(jìn)容器目錄的大文件。MemoryPressurefree -m 先看可用內(nèi)存用 ps 按內(nèi)存排序找進(jìn)程。PIDPressure看 /proc/sys/kernel/pid_max 和當(dāng)前 pid 數(shù)量。這種往往是有進(jìn)程泄漏瘋狂創(chuàng)建線程或子進(jìn)程。我遇到過一次 Java 應(yīng)用線程池參數(shù)寫錯(cuò)把機(jī)器 PID 直接打滿。另外一個(gè)很容易被忽略的是 kubelet 和 containerd 之間的狀態(tài)不一致。比如 containerd 重啟過但 kubelet 沒有感知crictl 能看到容器kubectl 里 Pod 一直異常。這種時(shí)候先重啟 kubelet 讓狀態(tài)重新對(duì)賬往往能自愈。3.4 網(wǎng)絡(luò)與服務(wù)DNS 解析失敗、Service 不通、跨節(jié)點(diǎn)連不上網(wǎng)絡(luò)類故障是排障里最燒腦的因?yàn)樯婕拔锢砭W(wǎng)絡(luò)、CNI、kube-proxy、DNS、Service 多層疊加。我按“先從 Pod 內(nèi)部往外逐層測(cè)”的方法講。Pod 內(nèi) DNS 解析失敗先做一件事kubectl exec -it -- nslookup 然后根據(jù)報(bào)錯(cuò)分兩種情況如果 getaddrinfo 直接報(bào)錯(cuò)說明 Pod 里的 /etc/resolv.conf 有問題常見原因是 dnsPolicy 被改成 Default導(dǎo)致 Pod 沒有用集群的 CoreDNS。如果能解析到 IP 但訪問超時(shí)說明 CoreDNS 本身異常。查 CoreDNS Pod 狀態(tài)和日志看看是否有上游 DNS 配置錯(cuò)誤。我踩過的一個(gè)坑是宿主機(jī) /etc/resolv.conf 里的 nameserver 指向了內(nèi)網(wǎng) DNS但 CoreDNS 把它當(dāng)上游解析外網(wǎng)域名時(shí)經(jīng)常超時(shí)。Service 訪問不通按這個(gè)順序查kubectl get endpoints 看 Endpoints 是否有 IP。如果沒有說明 Service 的 selector 和 Pod 的 label 不匹配這是最最常見的低級(jí)錯(cuò)誤。如果 Endpoints 有 IP就在集群內(nèi)隨便挑一個(gè) Podcurl 一下 Service 的 ClusterIP看通不通。不通的話檢查 kube-proxy 的規(guī)則。kube-proxy 默認(rèn) iptables 模式下用 iptables-save | grep 能看到規(guī)則。如果規(guī)則不存在重啟 kube-proxy Pod 或者直接看它的日志??绻?jié)點(diǎn) Pod 網(wǎng)絡(luò)不通屬于 CNI 問題。排查思路先確認(rèn) CNI 插件是什么。查看節(jié)點(diǎn)上的 /etc/cni/net.d/ 目錄。查看 CNI Pod 是否正常比如 Calico 的話就是 calico-node 和 calico-kube-controllers。在源 Pod 里 ping 目標(biāo) Pod 的 IP逐跳看丟在哪同時(shí)檢查節(jié)點(diǎn)的路由表比如 route -n 是否包含到 Pod 網(wǎng)段的路由。如果節(jié)點(diǎn)上有多個(gè)網(wǎng)卡常常是因?yàn)?CNI 選錯(cuò)了主網(wǎng)卡導(dǎo)致 VXLAN 或 BGP 隧道建不起來。這種問題用 kubectl logs 看 CNI 組件日志一般都能看到明確的網(wǎng)卡異常提示。3.5 存儲(chǔ)與控制面PV/PVC 掛載失敗、etcd 抖動(dòng)存儲(chǔ)類故障從使用者視角看就是 Pod 一直 ContainerCreatingEvents 里提示 FailedMount。排查 PV/PVC 有無綁定成功是很關(guān)鍵的一步kubectl get pvc 看 STATUS 是否為 Bound。Pending 狀態(tài)說明 StorageClass 或存儲(chǔ)插件有問題已經(jīng) Bound 但掛載失敗則要看存儲(chǔ)協(xié)議本身比如 NFS 掛載超時(shí)、CSI 插件未安裝。我個(gè)人的建議是排存儲(chǔ)問題時(shí)一定先把 kubelet 日志翻出來看完整報(bào)錯(cuò)不要只看 Events因?yàn)轭l繁遇到的是宿主機(jī)缺少 nfs-utils 這類基礎(chǔ)依賴報(bào)錯(cuò)只出現(xiàn)在 kubelet 的日志里??刂泼婀收侠飁tcd 抖動(dòng)最有代表性。etcd 是 Kubernetes 所有狀態(tài)的底座如果它異常你會(huì)看到 kube-apiserver 報(bào) etcdserver: request timed out整個(gè)集群開始“僵住”。排查時(shí)先看 etcd 集群健康狀態(tài)etcdctl endpoint health --cluster。再關(guān)注磁盤 IOetcd 對(duì)磁盤延遲極其敏感fsync 太慢會(huì)觸發(fā) leader 頻繁切換。用 iostat 看 etcd 數(shù)據(jù)盤的 await 值如果常年高于 50ms就得考慮換 SSD 或者走獨(dú)立盤。還有網(wǎng)絡(luò)延遲三個(gè) etcd 節(jié)點(diǎn)之間延遲高也會(huì)導(dǎo)致心跳超時(shí)。這類問題我踩過一次調(diào)試時(shí)發(fā)現(xiàn) etcd 和業(yè)務(wù)混部在同一批機(jī)器流量高峰期直接拖垮了存儲(chǔ)鏈路。4. 破壞式實(shí)驗(yàn)怎么設(shè)計(jì)我的排錯(cuò)方法論與工具鏈看到這里你可能會(huì)說你講的故障我也都見過但每次都是靠運(yùn)氣或者到處搜怎么能系統(tǒng)地練出排障手感下面這部分就是答案。我把“破壞式學(xué)習(xí)”落成了一套可執(zhí)行的方法你不妨照著做在測(cè)試環(huán)境里把故障一個(gè)個(gè)制造出來再親手修掉。4.1 分層排查法把故障“釘”在某一段無論遇到什么問題我的第一個(gè)判斷永遠(yuǎn)是這個(gè)故障現(xiàn)在發(fā)生在調(diào)用鏈的哪一段我把 Kubernetes 排障分成四個(gè)層次從小到大容器層Pod鏡像、容器創(chuàng)建、應(yīng)用進(jìn)程、資源限制。節(jié)點(diǎn)層Nodekubelet、containerd、磁盤、內(nèi)存、網(wǎng)絡(luò)底層。集群網(wǎng)絡(luò)層CoreDNS、Service、Ingress、CNI、網(wǎng)絡(luò)策略??刂泼鎸觡ube-apiserver、etcd、kube-scheduler、controller-manager。這個(gè)分層和調(diào)用鏈?zhǔn)菍?duì)應(yīng)的。排查時(shí)從上往下走先看最貼近業(yè)務(wù)、最容易觀察的一層不要一上來就查 etcd。我有一次帶新人排 Pod 創(chuàng)建失敗新人直接去查 kube-apiserver 日志查了半天發(fā)現(xiàn) API Server 一切正常問題其實(shí)是鏡像倉(cāng)庫(kù)地址寫錯(cuò)了。這就是沒分層導(dǎo)致的“繞遠(yuǎn)路”。4.2 一組可以直接照做的“破壞實(shí)驗(yàn)”清單你如果不知道從哪里開始破壞我推薦從這 10 個(gè)動(dòng)作開始。每一個(gè)做完都要記錄“現(xiàn)象—根因—修復(fù)”三段筆記刪掉一個(gè)正在運(yùn)行的 Deployment觀察 ReplicaSet 怎么重建。把某 Pod 的鏡像名改錯(cuò)觀察 ImagePullBackOff。給 Pod 設(shè)置一個(gè)極小的 memory limit 并壓測(cè)觀察 OOMKilled。把 Deployment 的 replicas 調(diào)到調(diào)度器無法滿足的數(shù)量觀察 Pending。手動(dòng)給節(jié)點(diǎn)添加一個(gè)污點(diǎn) taint觀察已有 Pod 是否被驅(qū)逐、新 Pod 是否調(diào)度不上。停掉 kubelet 服務(wù) 30 秒再啟動(dòng)觀察節(jié)點(diǎn) NotReady 到 Ready 的轉(zhuǎn)換。在節(jié)點(diǎn)上手動(dòng) kill 掉一個(gè)業(yè)務(wù)容器的進(jìn)程觀察容器重啟策略。把 CoreDNS 的 Deployment 縮到 0觀察集群內(nèi)域名解析癥狀。改掉 Service 的 selector觀察 Endpoints 為空、Service 不通。刪除一個(gè) PVC 對(duì)應(yīng)的底層存儲(chǔ)目錄觀察 FailedMount。做完這些你會(huì)對(duì)“Kubernetes 是一個(gè)自愈系統(tǒng)但自愈的前提是故障能被它識(shí)別到”這件事有極其深的理解。比如你手動(dòng) kill 進(jìn)程后kubelet 會(huì)按照 restartPolicy 把容器重新拉起來但你如果把節(jié)點(diǎn)的 kubelet 停了節(jié)點(diǎn)整個(gè)進(jìn)入 NotReady反而不會(huì)有人管它。這個(gè)邊界不親手做一次破壞是體會(huì)不到的。4.3 我在線上驗(yàn)證過的固定排錯(cuò)順序線上和測(cè)試不一樣最快止損永遠(yuǎn)比弄清原理更重要。所以我給自己定了一套固定順序你自己也可以按這套來先看全局kubectl get nodes、kubectl get pods -A確認(rèn)故障范圍是單 Pod、單節(jié)點(diǎn)還是整個(gè)集群。再看事件kubectl describe pod/node 里的 Events 往往能直接指向根因。然后看日志按 pod → kubelet → containerd 的順序逐層追日志。最后動(dòng)手修復(fù)能滾動(dòng)重啟就先滾能刪異常 Pod 就先刪等業(yè)務(wù)恢復(fù)后再二次復(fù)盤根因。這套順序最大的價(jià)值是防止在排查階段花太久。記住線上場(chǎng)景下恢復(fù)業(yè)務(wù)優(yōu)先級(jí)永遠(yuǎn)是第一位的。等到故障解除再帶著從現(xiàn)場(chǎng)截取的日志去深挖原因。4.4 順手整理一下排障工具鏈kubectl一切入口。describe、get、logs、exec 是高頻動(dòng)作。crictl節(jié)點(diǎn)上繞開 kubectl 直接看容器運(yùn)行時(shí)狀態(tài)。ctrcontainerd 原生調(diào)試工具。journalctl看 kubelet 和 containerd 系統(tǒng)服務(wù)日志。iptables-save / ipvsadm查 kube-proxy 規(guī)則。nsenter / netstat / ss進(jìn)到容器的網(wǎng)絡(luò)命名空間里做網(wǎng)絡(luò)排查。etcdctl控制面 etcd 健康檢查和數(shù)據(jù)目錄檢查。5. 從實(shí)戰(zhàn)到面試Kubernetes 高頻問題延伸思考很多運(yùn)維去面試前瘋狂背八股我的建議恰恰相反把實(shí)戰(zhàn)里驗(yàn)證過的東西用自己的話講出來比背概念高級(jí)得多。接下來我把這個(gè)系列涉及的核心能力對(duì)應(yīng)到面試中最常被問的問題上。5.1 調(diào)用鏈相關(guān)kubelet 和 containerd 的關(guān)系怎么答面試題直接問“kubelet 是如何調(diào)用 containerd 的”其實(shí)考察的就是你是否理解 CRI 抽象。你可以這樣組織答案kubelet 并不直接調(diào)用 containerd而是通過 CRI 接口以 gRPC 方式調(diào)用 containerd 內(nèi)置的 CRI Plugin。調(diào)用路徑是 kubelet → CRI gRPC 客戶端 → /run/containerd/containerd.sock → containerd CRI Plugin → containerd-shim → runc。創(chuàng)建 Pod 時(shí)第一個(gè)關(guān)鍵請(qǐng)求是 RunPodSandboxcontainerd 會(huì)拉取 pause 鏡像并創(chuàng)建沙箱隨后 kubelet 發(fā)起 CreateContainer 和 StartContainercontainerd 啟動(dòng)一個(gè) shim 進(jìn)程shim 再調(diào)用 runc 完成容器創(chuàng)建。如果能再補(bǔ)上 pause 容器和 shim 進(jìn)程的作用面試官基本就能確定你是真做過底層排查的人。5.2 故障排查類用“分層排錯(cuò)”回答拉開差距比如面試官問“Pod 一直 Pending你怎么排查”。很多人上來就答“資源不足”但更好的回答是先 kubectl describe pod 看 EventsPending 的根因可能有資源不足、節(jié)點(diǎn)親和性不滿足、存在污點(diǎn)、PVC 未綁定、或者調(diào)度器異常。資源不足要看 allocatable 和 request污點(diǎn)要看 node 的 taints 和 Pod 的 tolerationsPVC 要看 pvc 的 STATUS 是否 Bound。把每個(gè)可能都給出對(duì)應(yīng)驗(yàn)證命令再給出解決方案這就是“有實(shí)戰(zhàn)經(jīng)驗(yàn)”的回答。另一道高頻題“Service 訪問不通如何排查”我建議按這個(gè)順序先 get endpoints 確認(rèn)后端 Pod 是否被正確關(guān)聯(lián)然后進(jìn)入集群內(nèi) Pod 直接訪問 ClusterIP 驗(yàn)證網(wǎng)絡(luò)通路如果還是不通檢查 kube-proxy 模式和 iptables/IPVS 規(guī)則最后看 CNI 底層是否存在跨節(jié)點(diǎn)路由問題。這個(gè)回答天然帶著分層排錯(cuò)的邏輯面試官會(huì)看到你腦子里有一條清晰的鏈路。5.3 原理型問題從“會(huì)用”到“說清楚”還有一類面試題問的是“為什么 Pod 是最小調(diào)度單元”“為什么不直接在一個(gè)容器里跑多個(gè)進(jìn)程”。這些問題的核心其實(shí)是 pause 容器和命名空間共享機(jī)制。一個(gè) Pod 里的多個(gè)容器共享同一個(gè)網(wǎng)絡(luò)命名空間、IPC 命名空間、UTS 命名空間也能共享 Volume但它們的進(jìn)程命名空間默認(rèn)不共享。這種設(shè)計(jì)讓“一個(gè) Pod 里放一個(gè)主容器和幾個(gè)輔助容器比如日志收集 sidecar”成了可能。如果你能順手解釋一下為什么業(yè)務(wù)容器重啟而 Pod IP 不變化——因?yàn)?pause 容器決定了網(wǎng)絡(luò)命名空間的生命周期——那這題基本就滿分了。6. 寫在最后我的一點(diǎn)個(gè)人體會(huì)寫這個(gè)系列之前我以為自己已經(jīng)對(duì) Kubernetes 的故障有免疫力了結(jié)果今年在一次壓測(cè)環(huán)境里還是被一個(gè) kubelet 版本和 containerd 版本不完全兼容的毛病折騰到凌晨三點(diǎn)。版本不匹配這種問題不親手踩一次光看升級(jí)文檔你是永遠(yuǎn)記不住的。這也是我為什么一直堅(jiān)持“破壞式學(xué)習(xí)”——教訓(xùn)往往比經(jīng)驗(yàn)更深刻。如果你現(xiàn)在還在入門階段我的建議是不要怕弄壞集群。搭一套單節(jié)點(diǎn)的 kind 或者 minikube然后照著 4.2 節(jié)里的破壞實(shí)驗(yàn)清單一天破壞一個(gè)堅(jiān)持兩周。等你親手修好了十來個(gè)故障再回頭看文檔以前看不懂的部分會(huì)變得異常清晰。Kubernetes 這個(gè)系統(tǒng)天賦不夠沒關(guān)系踩坑來湊踩得多了你就是那個(gè)能一眼定位斷點(diǎn)的人。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久久久久中文| 国产无码久久高清| 一区二区免费电影久久| 日韩精品黄片免费观看| 亚洲一区二区精品福利| 超碰在线99| 国产馆极品诱惑| 日本黄页视频在线观看| 综合色欧美| 黄片www视频免费| 被男人添B超爽视频| 欧美日韩电影成人在线| 国产亚洲禁久一区二区| 色盈盈影院| 国产农村妇女毛片精品久久| 精品国产乱码久久久久久蜜臀| 一区二区不卡视| 国产精品69人妻无码久久久| 亚洲欧美大香蕉| 男人精品天堂一区| 久久久久久国产精品免费网站| 狠狠穞A片一區二區三區| 五月婷婷六月丁香| 中文无线日韩一区| 亚洲小电影免费涩涩成人在线高清| 五月丁香色婷婷| 新97国产超碰| 乱欲视频| 超碰人人乐97| 熟女少妇一区二区三区| 人人天天干干| 国产精品久久久久久夜夜夜夜| 综合欧美亚洲| 国产农村妇女精品1区二区| 久久线上视频免费看| 久热99| 美女91网| 欧美制服网站美腿丝袜| 91人妻在线视频| 久久久久久久久久久久久久久性生活视频| 老熟女综合网| 六九九九| 97国产中文| 欧美日韩国产中文精品字幕自在自线| 99热日| 影音先锋国产精品| 另类欧美综合| 澳门人妻久久| av三级电影在线播放| 国产久久一区二区三区野外在线| 一区二区三区免费岛国片| 91总综合网| 久久三区四区| 久草综合京东| 国产三区免费在线观看| 少妇熟女一区二区三区| 97国产天堂岛| 91久久堂| 九九久久精品| 女人天堂av在线播放| 天天操狠狠日夜夜干超碰撸com视频在线观看 | 欧美久久婷婷| 日本色色色视频| 日韩色图 一区二区| 亚洲欧美经典一区二区| 亚洲啪啪综合?v一区综合精品区| 夜夜操一区二区| 亚洲综合在线视频| 日韩人妻中文视频| 成人午夜高潮av猛片| 超碰久久精品| 91精品电影18| 婷婷五月天成人网| 自拍偷拍 高清无码| 日韩中文字幕宗合在线| 操b网站亚洲无码| 国产精品宅男免费| 91亚洲电影| 春色校园综合网| www.色婷婷| 日本欧美不卡| 91美女视频在线观看| 欧美色图另类图片| 一级性爱视频免费观看| 日本成人免费一区二区三区| 99精品人妻| 国产毛片毛片4p懂色| 黄色片一区二区三区四区五区| 欧美日韩*字幕一区| 女同女同恋久久级三级| 亚洲激情综合| 大香蕉欧美伊| 少妇熟女视频一二三区| 三及片网站| 日本一区二区亚洲综合| 六月丁香啪啪| 综合激情一一91| 懂色av一区二区三区天美传媒| 人妻乱仑一区二区三区| 啊啊啊啊二区好大| 中文字幕一区二区三区四区在线视频| h在线看免费版在线看| 亚洲网污污污污| 人伦四五区| 亚洲国产精品99久久久| 95人妻爽爽人人做人人澡| 欧美72网页| 美女高潮国产高清| 亚洲欧洲综合成人av一区| 熟女视频久久| 久久久九九九九| 乱操乱伦AV| 婷婷午夜| 一本色道久久综合精品婷婷| 蜜臀AV秘一区翔田千里| 偷拍欧美激情| 欧美草草高清日韩视频| 91操操| 今日头条成人一区二区三区四虎精品| 男女一进一出视频久久| 艹我哪美一区无码| 亚州,欧美在线| 黄色毛片A片| 久久精品视| 91久久久亚洲| 九久9精品| 干美女人妻| 激情啪啪拍91| 欧美情色亚洲| 精品精品精品| 日韩肏逼视频| 青青草精品| 国产精品点击进入在线影院高清| 嗯嗯,啊啊,国产精品| 日本不卡一区二区| 330dv亚洲成年视频网| 久热香蕉精品在线视频| 大香蕉性欧美| 久久精品人体AV| 天天综合网日韩| 性爱视频啪啪啪啪| 99热18这里只有精品| WWW黄片COM| 欧美性Fer办公室秘书| 26uuu国产成人综合| 欲综合网| 日韩一999精品| 欧美色图综合| 在线色资源| 色婷婷狠狠| 国产AV中文| 丝袜狠狠草尤物人妻av91| 操逼国产免费| 大学生美女口爆| 欧美激情久久久久| 操少妇很爽av| 欧美在线干| 久草尤物| 青青草玖玖爱| 久久草草亚洲蜜桃臀| 欧美美女在线高潮999| 日韩免费在线观看不卡| 九草九九九| 成人AV素股で擦久久| 91精品啪在线观看国产城中村| 亚洲九九视频在线观看| 校园春色欧美色图| 最新啪啪视频| 黄色片一区二区三区四区五区| 乱色老一区二区三区的观看方式 | 国产激情在线| 老熟女阿 国产91| 91日日| 亚洲AV永久无码一区仙野| 97在线看| 国产AV天美传媒一区二区三区 | 97久久久久| 999熟女精品| 超碰97在线色男人??| 人人爽天天爽| 一区二区三区精品黑丝白丝酒店对鸡 | 在线看片国产精品每日更新| 亚洲制服aⅴ中文字幕| 97天堂| 亚洲在钱| 亚洲国内精品成人不卡| 青青草大香蕉在线视频| 日本孕妇孕交| 色综合20p| 884t在线| 亚洲国产中文字幕| 97超碰天天爱天天爱| 四季AV综合网址| 91视频观看网站| 韩国一区二区精品亚洲| 日本在线一二 | 国产尹人在线视频免费| 久操婷婷| 亚洲国产精品乱码在线观看| 欧美亚洲国内自拍| 60秒免费小视频| 亚洲另类色综合网站| 九9精品| 亚洲色天堂九9| 久久精品久久久久久久| 97天堂| 熟女人妻一区二区三区| 太久视频| 日本三级R| 五月天色图影视| 日日做夜狠狠爱欧美黑人| 一本色道人妻久久| 精品蜜乳AV免费观看| 午夜操逼不卡| 爱做久久久久久| 91精品国产麻豆国产自产在| 色五月av| 日韩免费在线视频观看| 亚洲精品一二区| 日韩一级免费性爱| 999狠狠综合| 老色鬼成人精品视频下载大在线观看| 精品九九九九九九| 欧美操逼熟女| 国产女人高潮视频| 98福利在线视频| 女色综合| 九九色影院| 啪啪啪精品视频| 成人黑料社久久| 蜜桃久久综合视频| 嫖老熟女A片一二三区| 大香蕉啪啪啪| 国产精品禁久久久精品| 91精品女厕偷拍视频| 国产亚洲日本精品在线| 很黄很污的免费网站| 久久风骚城市| 精品视频免费在线一区| 少妇同性| 中文字幕后石码三区四区| av无码精品久久久久| 美国美女AV在线| 久久香蕉国产线看观看亚洲女人 | 道久久五香丁月婷婷激情综合| 97日本超碰综合| 亚洲天堂一二| 激情五月婷婷| 麻豆天美91| 伊人综合色网| 国产家庭乱伦表演| 欧美激情色婷婷花野真衣一区二区| a片在线播放| 久久精品老司| 少妇高潮特黄A片| 国产熟女高潮一区二区三区| 国产精品国产拍高清AV| 天天欲望网| 91人人看| 亚洲国产奇米影视久久| 天天操天天日天天干| 欧美日韩 强奸乱伦| 99精品无码| 2010男人的天堂| 岛国黄片网站| 97视频620| 99国产精品视频尤物| 大屁股国产在线视频| 日本免费亚洲欧美| 男女啪啪网站免费视频| 色香伊人| 亚洲欧美经典一区二区| 毛片久久| 亚洲无码一区成人免费午夜| 97操97色| 日韩一级片| 欧美激情久操网| 99日免费视频中文字幕| 国产伦精品一区二区三区视频女| 天美精品一区二区三区四区在线观看| 日本一级婬片试看三分钟| 亚州欧美在线| 东京热熟女亚洲视频网站| 国产免费永久精品无码| 狠狠色噜噜狠狠狠狠2018| 色臀aV| 91久青| 亚洲色诱惑| 亚洲情欲| 99999久久精| 亚洲成人色情五月天丁香花| 99热综合| 最近的最新的中文字幕视频| 黄色激情电影在线观看| 2011国产精品| 日日噜噜夜夜狠狠视频无| 亚洲在线a| 啊啊啊久久久视频| 在线亚洲精品久久久| 久久久久久久人妻| 97国产高清视频在线观看| 一二三区操逼国产91| 78精品| 超碰久草| 婷婷五月天色网| 欲女人妻性色av| 操b网站亚洲无码| 亚洲成人一二三区| 午夜国产成人福利视频| A片 AV一级在线播放观看免费| 亚洲欧美色图小说| 99久久久久久亚洲精品不卡| 国产高清午夜成人在线观看| 欧美日韩在线视频网站| 3PAV乱伦视频| av毛片aaaaa免费看| 国产精品久久久 | 欧美久久人人网| 亚洲欧美在线观看无码| 超碰在线观看av不卡| 日韩操逼性鲍| 3571色综合一区二区二区| 91综合网| 操逼网站网站| 亚洲欧美骚| 伊人久久亚洲中文字幕不卡| 日韩97视频| 丰满人妻-区二区三区| 人人操,操人人| 激情丁香五月| 加勒比av官网在线| 91丝袜| 人人操人人大香蕉| 欧美A√综合网| 日韩无码精品综合久久| 欧美成人都市人妻| 国产诱惑| 91精品亚洲内射孕妇| 国产精品成人无码av| 91天天c| 天天干天天操天天操夜夜操天天操| 日本欧美一区二区三区免费| 国产女同性恋视频| 亚洲制服欧美另类内射| 伊人五月天婷婷| 国产免费内射视频| 粉嫩少妇自慰在线| 99操视频| 殴美在线AⅤ| 99久国产精品午夜性色福利| 欧美婷婷五月天| 欧美婷婷久久| 蜜桃av色偷偷av老熟女| 国产精品午夜高潮呻吟久久av| 伊人青青一区成人视频在线观看区 | 免费视频在线一区二区不卡| 日韩中文字幕视频| 久久九色| 国产精品第一页国产大屁股视频免费区| 老鸭窝成人| 国产精品乱码久久| 偷看洗澡一二三区美女| 成人日本精品九区| 妇女乱色二区| 97蜜桃综合| 91久久久视| 久久9999| 欧美综合娱乐久久| 日韩AV电影网站| 欧美色图偷拍另类| 九九久久国产精品怡红院| 亚洲精品九九九| 99久久婷婷丁香| 亚洲一二三精品久久网| 欧洲综合色| 亚洲欧美国产成人综合不卡| 亚洲丝袜少妇在线| 国产精品第一区第一页| 开心激情站| 久草综合网| 国产区91柔拿会所技师| 吉田爱美AV在线| 91在线欧美| 欧美精品四区| 亚洲自拍97| 婷婷五月综合激情| 久久嫩草| 色五月婷婷麻豆在| 天天网综合| 992这里有精品| 亚洲操操| 日本二区不卡| 五月婷婷六月天| 99在线观看视频在线高清| 国产精品亚洲免费| 久久男人| 97亚洲一区| 欧美精品久久久久久久丰满| 青青草伊人久久| 无码高清国产AV| 日韩天天本| 日本一级性爱| 九九九九九精品视频| 色爽爽文学| 精品人妻一二三| 禁十八久久| 激情天天视频| 中文字幕在线观看网页| 亚欧免费| 亚洲情色 自拍| 在线啊v一区| 亚洲熟女综合网| 丝袜喷水在线| 国产AV久久野战精品| 拍拍拍拍大尺度黄色三级片拍拍拍拍拍照| 综合网色| 26uuu最新| 热的中文 热的有码 热的国产| 精品一二三区久久AAA片| 欧美日韩狠狠爱| 美女久久久久久久| 思思热影视| 超碰色美女| 99在线观看| 日韩无码精品综合久久| 偷偷人人精品女女久久| 日本大香蕉| 婷婷视频网| www.亚洲成人一区| 久久久免费懂色| 九九热精品免费视频| 欧美亚洲涩涩| 日韩精品 资源| 国产高清精品一区二区三区毛片| 成人青青草原伊人| 精品国产久久乱码| 真实高潮91| 日本精品无码三级网站| 欧美精品69性爱| 少妇熟女视频一二三区| 九草在线大香蕉| 99超级碰免费视频| 国产99精品一区二区三区免费| 超碰97 线线 在现| 欧美九一精品久久久熟妇| 亚洲综合网图| 丰满少妇人妻久久久久久| 国产热RE99久久6国产精品首| 95自拍视频在线观看| 放黄片放3级黄片没穿衣服| 麻豆色99999| Aa东京男人的天堂| 99在线视频播放| 第四色色综合91| 日本3级一区二区免费| 亚洲 日本 国产 综合| 亚洲图片欧美色| 久久久久久九九九九九| 91色射| 亚洲精品1区| 黄色不卡视频| 久久一二三四五六七八九区区| 国产成人资源| 中文字幕在线观看网页| 欧美日韩国第一区| 美女91在线观看| 超碰97男人| 热久久国产精品视频大陆精品| 色噜噜国产在线| 99re这里只有精品3| 精品一区二区三区最新| 激情亚洲天堂| 欧美亚洲国产日本在线,久久精品国产| 欧美视频激情久久久久久| 人妻一区久久二区三区色播| 性老妇一区二区三区| 日韩美女高潮喷水视频| 亚洲在钱| 久久久久久无码人妻中文字幕| 羞答答AV中文字| 91黑丝操| 欧美亚洲清纯| 久久超碰网| 欧美大香蕉久| 久久久国产成人一区二区三区在线| 欧美激情黑人| 少妇贴图| 国产强奸AV在线| 人妻一区视频| 一本一道波多野毛片中文在线| 国产亚州精品美女久久久免费| 日本视频在线观看污污污| 97久久超碰日韩精品| 六月色婷婷| 色悠久久久av| 亚州高清色综合| 国产探花日韩援交| 噜噜噜噜天天狠狠| 天天日日日射| 97香焦色区| avav青青草久久夜| 婬女免费一二三区A片| 日韩人妻精品| 天天看,天天做| 男人的天堂VA在线| 国产女同视频在线播放| 午夜毛片高清免费不卡| 国产精品自拍xxxx| 天天爱综合网| 婷婷伊人綜合中文字幕小说| 日韩精品一二三| 97视频免费播放| 五月婷婷综合在线| 国产精品96| 欧美色图私拍91| 久久久久久亚洲中文| 97精品中文字幕| 日韩女模中文造逼| 777超碰| 欧美成人精品一区二区三区| 秋霞操逼片| 日本孕妇孕交| 依人大香蕉| 天天日日日射| 五月丁香六月综合缴清无码| 中国小夫妻勾搭露脸淫荡对白| 91小视频| 啊啊啊啊网站| 骚女高跟AV在线| 人人爱操| 久久久精品电影| 精品人妻一区二区三区蜜桃视频| 国产自偷自拍一区| 俺去啦俺来也久久综合| 搡老熟女国产1000部| 丝袜六区| 国产真实野战在线视频| 免费国产视频| 蜜桃视频啊啊啊啊| 久九干| 精品一区二区成人动漫| 欧美熟妇乱码在线一区| 欧美综合娱乐久久| 另类图片天天影视| 后入福利视频| 亚洲综合113页| 中字乱伦AV| 中文字幕中文字幕一区二区| 97AV在线观看| 九九久久国产精品怡红院| 夜夜高潮夜夜爽| 色五月av| 免费操逼视频下载| www.yeyecao| 国内一级精品| 亚洲激情深爱文学小说网站| 裸体美女国产免费久久久网站| 一级毛片久久久久久久女人18| 不卡二三区人妻少妇| 综合大香蕉美。| 色超碰综合| 成人久久无码www| 天美传媒精品一区二区| 五月丁香| 九九九九精品九九九九| 超碰在线97国产| 久久国产精品,久久国产| 色吧91| 射丝袜高跟鞋99| 黄色无码高清黄色无码网站| 丰满翘臀美女影院视频| 亚洲一区日韩精品中文字幕| 精品久久在线区一区| 精品久久久久久中文字幕视频免费 | 性感美女91影视| 五月丁香激情综合| 天美传媒AV在线| 嗯嗯嗯啊啊啊在线免费观看| 亚洲日韩在线a不卡99精品| 91天美免费| 久久久亚洲| 欧美日韩人人精品| 蜜乳AV一区二区三区四| 很狠操| 有码人妻系列| 十八禁成人网站在线观看| 大香蕉99re| 日韩人妻精品久久久久| 亚洲?V无码专区在线电影| 天美一区在线| 精品伊人久久久大香线蕉小说| 熟妇视频一区二区三区在线| 亚州 综合 色图| www色色com| 免费的黄片有限公司| 一卡二卡在线播放| 香蕉久久精品| 大香蕉久操| 国产在线精品电影观看| 成人性爱电影网| 九X超碰| 日本久操视频| 国产在线76页| 蜜臀久久99精品久久久久久久久| 殴美大黄片| 欧美疯狂做爰xxxx| 一区二区三区视频| 婷婷五月天_亚洲小说欧美激情另类_精品久久国产字幕 | 日韩AV中文字幕电影| 另类在线| 污啪啪啪视频| 久久久久久亚洲精品中文字幕人妻| 欧美日韩国产传媒在线精品| 青青草密桃在线播放| 人人色人人射人人妻| 好淫网一二三视区| 水多多映视AV| 国产粉嫩蜜臀av一区二区三区| 婷婷久久五月综合激情| 欧美性爱精品七区| 永久免费发布性爱网| 久操91视频| 久久精品国产欧美日韩亚洲欧美日韩中文久久国产一区 | 中文字幕人妻资源在线| 一个国产在线综合网站| 激情干在线| 欧美操人| av大香蕉网站| 亚洲AV色图一区| 日韩精品啪啪啪| 亚洲成人性爱网站在线播放| 国产懂色精品国产av| av片在线观看免费播放| 九九99久久| 97人人夜夜精品视频| 国产精品福利视频播放| 日韩有码 一区二区三区| 国产精品久久久久久高清无码免费看| 国产在线能看的你懂的| 久久久久久亚洲Av无码精| 中文字幕一区二区三区字幕| 亚洲av无线观看| 操九九九九九九| 欧美91网| 多毛小伙内射老太婆 | 无色无码| 亚洲人精品久久久喷水| 欧美青青草视频| 熟妇女伦乱视频视频| 秋霞操逼片| 性一交一乱一交A片久久四色| 婷婷色香| 91久久久久久久久18| 久久久久9| 久热这里只有精品9| 99热思思| 超碰人人妻| 欧美亚洲91| 欧美色图私拍91| 少妇一区二区三区高速| 天天内射| 操一区| …亚洲黄色厕厕女女在线播…| 国产大学生口爆吞精合集| 欧洲乱码视频| 国产97在线 | 亚洲| 99∨VTV| 亚州男人天堂| 婷婷伊人网| 色噜噜人妻av中文字幕| 超碰在线日韩一区| 蜜乳av一区二区| 日日做夜狠狠爱欧美黑人| 国产高清无码一区三区二区| 四虎免费看黄| 风流老熟女一区二区三区l| 天堂精品一区| 91丨豆花丨熟女| 青青草在线成人视频| 亚洲欧美电影| 日韩高潮一区| 亚洲极品| 亚洲四虎熟女精品| 久久成人东京热人妻| 操B在线观看| 亚欧毛片基地国产毛片基地| 日韩性色b| 人人模人人看| 免费看污网址| 超碰人人超在线观看| 亚洲熟女综合一区二区| 精品免费1| 日韩免费高清大片在线| 人人妻人人操人人乐| 久久久久亚洲熟妇熟女| 亚洲激情天堂网| 欧美一二三级精品在线| 丝袜喷水在线| 91美女网站| 中国少妇啪啪视频| 一区麻豆 高清中文字幕| 亚洲丝袜少妇在线| 亚洲蜜臀懂色| 口爆综合网| 天天看,天天做| 久久直播国产| 亚洲无线码欧洲精品区别| 死我十八禁| 男插女青青影院| 熟女网站最新| 日本九九久久99播| 天天色播亚洲综合网站| 国产欧美日本亚洲精品| 91社操逼| 摸奶性爱视频网站在线免费播放| 96一区二区| 婷婷人妻激情| 小电影欧美91| 亚洲国产福利视频| 麻豆福利视频导航| 日韩专区数据列表-第3230页-精品国产一区二区三区香蕉 久久99熟女人妻中文字 | 日日摸夜夜夜夜爽| 免费中文综合精品| 日本欧美中文字幕| 激情抓乳插进去啪啪啪日韩 | 激情图片伦理国产一区二区日韩| 色哟哟-国产专区| 美女超碰978| 亚欧免费| 99亚洲天堂| 欧美日韩在线小说 | 婷婷另类小说| 精久久久91| 亚洲免费97免费| 男人精品天堂一区| 超碰在线成人电影| 很很很很操| 99蜜月精品久久| 欧日韩一二三f区| 久久中文字幕在线观看| 亚洲色狠| 岛国在线免费视频| 操逼片中文| 啊视频在线| 亚码激情| 九九九久久久久| www被窝色com| AV女资源| 精品蜜乳AV免费观看| 日本熟妇人妻一区二区三区| 啊啊啊好多水| 中出欧美| 亚洲情色综合| 国产高清精品一区二区三区毛片| 久久五十路熟女人妻| 伊人女女资源在线观看| 亚洲人人操| 久久25| 日韩少妇在线视频| 2020天天色综合| 亚洲毛片基地专区| 国产日韩区| 欧美人黑A片无码免视费| 91人妻精华帖| 一区在线观看中文字幕| 久久久久久中文字幕中文字幕最新| 男人天堂日日夜夜| 91天天美女| 97色碰| 天天射天天| ?亚洲伊人伊成久久人综合网| 日韩AV片| 蜜桃成人1区2区3区| 1024亚洲中文字幕久在线看片你懂的 | 久久大香蕉手机高清视频| 日韩啪啪啪视频| 精品一区二区三区四区外站| 大香蕉中文网| 两女互慰AV高潮喷水在线观看| 天天日天天搞天天干| 精品性爱一二三区| 人人操AV| 熟女人妻一区二区三区| 大香蕉在线视频15| 最新9久久久9免费视频| 亚州一区二区| 中日韩久久久| 在线播放中文字幕| 好爽免费视频,| 色图四区| 亚洲 日本 国产 综合| 国产精品无码在线| 蜜臀AV一区二区三区激情综合| 97久久精品亚洲中六字幕| 日韩精品第3页| 欧美黑人与女人91| 国产精品极品美女视频| 3571色综合一区二区二区| 黑人与人妻| 亚洲自拍青操视频| 99999re| 无码操逼网| 看免费一级在线播放毛片| 亚洲精品自拍| 亚洲无码成人精品| 亚洲另类久操网| 又大又长又粗又爽又黄| a片久久久久久久久久久久 | www.男人天堂| 91亚洲人| av天堂手机版追回| 人妻 制服 日韩 中文 在线| 丝袜美腿av女优在线| 免费黄色A片| 蜜桃色院一区久久| 精品999一区二区| 天天色播亚洲综合网站| 亚洲91av| 中文字幕制服诱惑| 韩国一级婬片A片AAAAA| 欧美综合 站| 亚洲天天做日日做天天谢日日| 亚洲国产精品久久AV| ji熟女.com| 女人 A一级| 夜夜狠狠躁日日躁色视频| 国精综合一二三区影视| 嗯嗯啊啊啊好爽| 大香蕉乱级| 97中文天堂| 色色九区| 色999;丁香五月| 欧美日韩精品青青| 一级特级aaaa毛片免费观看 | 少妇一区二区三区高速| 女优免费一区二区永久| 精品白丝一区| 777AV电影| 91撸色网 玖玖网 欧美| 九久久精品| 亚洲激情综合另类男同| 97干日韩| 91国模| 亚洲精品aa久久伊人| 激情黄色五月天| 亚91网| 美日韩成人| 夫妻AV网站| 熟女人妇一区二区三区| 九九久久九九久久| 淫纸中9区| 色情综合| 免费成人在线熟妇网| 精品国产三级av韩国在线| 欧美18禁91| 日本高清视频xxxx| 极品五月天噜噜| 狠狠91| 欧美有码亚洲中文字幕一区二区三区四区| 天天射夜夜操| 日本免费不卡二区| 亚洲天堂男人| 免费观看有码高清视频| 天天伊人| 天天射,天天操,天天爽-国内精品一区二区三区-成人AV | 91久久婷婷| 黄片在线免费在线观看| 香蕉国产97| 91碰碰碰| 久久久91福利姬| 国产操逼逼网| 欧美后入视频| 亚洲欧洲日韩国产自在线| 亚洲色棕合| 婷婷五月天激情小说| 97天天日| 99国产天美| 一本大道不卡一二三区| 中文熟女五十乱码在线| 巨爆乳肉感一区二区三区竹菊影视| 日韩本不卡视频在线观看 | 超碰精品97| 色婷婷丁香五月| 国产精品扒开腿做爽爽爽视频| 欧美成人都市人妻| 天天上日日上日韩精品| 亚洲成人性爱网站在线播放| 新怡红院| 激情图片伦理国产一区二区日韩| 激情看片网站| 亚洲中字幕日本一区二区三区| 九九九精品色乱九九九| 江都AV在线| 亚洲欧美一区二区三区一猛片| 视频不卡中文字幕| 国产农村妇女精品1区二区| 国产超碰在线| 韩日巨乳美女免费视频在线观看| 欧美国产精品久久九九| 老熟妇一区二区三区啪啪| 无码国产精品午夜不卡(| 国产精品 视频| 老熟女网站| 欧美性爱1080p| 韩三级a视频在线观看| 日本九九久久99播| 强奸乱伦麻豆| 中文乱码字幕观看视频| 日本三级人妻a人妻一在线| 搡老熟女免费视频| 青青草久草AV| 五月综合色| 黑人精品一区二区在线播放| 啊啊啊轻点在线观看| 久久9精品视频| 大香网站| 一区二区高清视频| 欧美精品 - 91爱爱| 日韩一区二区三区四区五区| 久久精品店| 国产精品久久久999| 2010男人的天堂| 中国国产精品一区视频| 国产久久久| 亚洲男人的天堂网| 9久综合网| 黄片aaaaa一区| 国产丁香精品露脸视频| 超碰1024久久| 99视频内射三四| 91视频伊人| 亚洲中文字幕av | 热久久99999| 亚洲图片偷拍视频区| 強姦亂倫a| 国产路线专区| 精品妇操一区二区三区| 天美国产三级传媒| 亚洲日本激情| 久久久96| 精品十八在线观看| 久操在97| 91人妻丝袜无码| 青青草天天亲夜夜操网| 中国一级操逼视频| 色婷婷国产精品一区在线观看| 日本国产二线女色| 91jk色拍| 综合网色| α√在线| 亚洲图片婷婷五月天| 狠狠躁伊人中文字幕| 欧美色图人妻| 亚洲男人的天堂V| 婷婷综合久久| 一级黄色牲爱A级片| 国产精品探花色| 天天亚洲| julia国产在线 | 亚洲成a人v欧美综合天堂下载| 久久国产精品视频| 1024午夜激情男人的天堂| 蜜臀人妻少妇久久在线观看| 亚州伊人色综台| 97人人模人人爽人人| 国产91精品福利在线| 五十路三区在线| 热热色AV| 欧美国产操逼| 超碰碰激情97+久| 75大香蕉| 精品人妻一区二区免费蜜桃| 欧美 亚洲 制服 精品| www.婷婷六月天| 国产又色又爽又舒服的三级视频| 五月丁香六月综合缴清无码| 后入国产| 欧美色网络| 国产伊人精品在线| 97国产精选| 国产精品69久久久久久久| 五月天亚洲网| 97色色色综合网站| 欧美亚洲综合色| 嗯啊不要在线| 国产亚洲在线观看| 色99视频| 操碰91| 91色婷婷综合久久中文字幕二区| 极品色www影院| 精品一区二区成人| 51一区二区三区| 在线看片国产精品每日更新| 日韩精品人妻一| 亚洲啪啪视频一区二区| 亚洲日韩美国人妻| 国产精品久久久久中文字幕| 精品久久久久av影院| 欧美精品99久久久**| 9丨亚洲一区二区在线| 欧美日韩另类在线| 国产一区二区三区视频在线看| 日韩欧美午夜一区二区| 密乳AV免费观看| 农村少妇久久久久久久| 美女黄频a美女大全免费皮| 91美女色视频亚洲| 熟女精品va中文字幕| 9.1小视频| 青青草中文-久久青草精品一区二区三| 国产精品毛片| 超碰在线91| 麻豆美女丝袜人妻中文| 久久精品老司| 深田咏美亚洲精品福利社| 欧美97网| 午夜精品久久久99| 久久久久国产精品喷潮免费观看臀| 农村少妇久久久久久久| 青青国产精品在线| 老熟女网站| 亚洲91少妇| 高清无码久操视频| 国产精品亚洲日韩骚欢乐谷最新地址发布页huanieguty性屋娱乐妖精视频 | 国产呦精品系列在线观看| 97综合| 99久久99久久免费精品蜜臀| 天天日夜干| 午夜后入| 熟女人妻一区二区三区| 亚洲欧美首页| 国产女人9999| 99热这里只有精| 人妻一区视频| 97超碰伊人| 青青草在线视频人人想人人上| 一区中文字幕二区日韩| 97av在线视频| 五月丁香婷婷啪啪| 天天影视综合网欧美精品| 日韩99神马视频片| 日日97| 91情色| 玖玖爱免费观看视频| 国模限制级电影| 欧美 亚洲 另类 综合| 综合色区偷拍| 色综合一区二区三区| 久草网站免费在线观看| 日本有码影片下载| 九九九九精品一区| 男人天堂2017| 久久欲| 国产欧美一区激情交| 熟妇亚洲一区二区三区| 欧美伦乱爱| 成人小电影网站tex| 午夜福利国产欧美日韩夜夜| 亚洲一区二区中文字幕| 国产一区二区三区中文字幕| 久久综合超碰| 九九九九精| 国产成久久综合片| 欧美大香蕉同搞| 亚洲在高跟鞋自慰久久在色线| 色狠狠综合噜一二三区| 校园春色家庭伦理欧美激情| 中文字幕三四区| 手机在线看片免费人成视频| 91蜜臀在线久久久久| 老汉网| 久久久久久九九九| 日欧亚洲二三区大片不卡| 亚洲情色91| 国产免费一区| 午夜激情成人在线观看| 啪啪啪精品| 亚洲人妻av| 九九热这里只有在线精品视 伊人草 成人菠萝蜜视频在线观看 | 超碰精品日韩欧美国产| 亚洲一本大道中文字幕无码在线| 干B视频伊人网| 欧美人妖内射| 国产女人操逼视频| 91久久18禁| 亚洲国产综合图区中文字幕| 偷看洗澡一二三区美女| 欧美青青视频| 精品欧美不卡在线播放| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 国产成人AV麻豆| 国产一区在线播放| 人人天天干干| 综合九九| 无码国产Av| 天无日色综合| 就去色综合| 色情乱伦AV| 久久色一区二区| 熟女探花啪啪| 激情五月天色播| 99re这里只有精品2| 亚洲av淫乱| 91久久久老司机| 日韩无码三级影院| 亚洲色图加勒比| 久久午夜色播影院免费高清| 五月婷婷无码| 婷婷性网| 久久婷婷色| 国产污视频麻豆传媒一区二区| 91精品免费| 激情综合网激情综合| 国产福利精品最新在线| 操我啊啊啊啊啊| 成人小说视频在线精品欧美| 亚洲偷拍自拍在线视频| 97亚洲资源| 精品91| 日本欧美国内在线| 久久精品视-一级做a爰片性色毛片16美国-中国女与老外在线精品 | 国产精品久久久久久久久久久久| 欧美AAAA黄片| 色色国产| 97视频免费在线| 丝袜内射| 欧美性爱另类综合| 99国产天美| 五月天婷婷在线看| 久久久9品一区二区三区| 97操| JULIA人妻风俗店中出电影| 久久春色| 91亚洲不卡一区| 成年人网站在线免费观看| 国产精品久久9| 日欧操屄| 亚洲色91C| 欧美亚洲色图另类国产| 日本久久999| 女人被添高潮免费视频| 欧美久久人体| 婷婷成人五月天| 色综合加勒比| 国产性刺激| 无码精品久久久天天影视| 综合激情一一91| 操逼网站视频漫画国产| 欧美综合色图网| 伊人影院中文字幕| a'v在线资源| 大色综合| 色情乱伦AV| 亚洲91射| 超碰人人妻| 无遮挡又黄又刺激的视频| 无码人妻丰满熟妇奶水区毛片| 伊人嫩草| 女欧美一区二三区| 日韩精品怡红院|