日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

kubeadm安裝Kubernetes 1.37并集成Docker運(yùn)行時(shí)教程

kubeadm安裝Kubernetes 1.37并集成Docker運(yùn)行時(shí)教程 這次我們來看一個(gè)用 kubeadm 安裝最新 Kubernetes 集群的完整過程目標(biāo)版本是 k8s 1.37.x并且讓底層容器運(yùn)行時(shí)真正走 Docker。這里需要先把背景說清楚Kubernetes 從 1.24 開始移除了內(nèi)置 dockershimK8s 高版本不再直接內(nèi)置 Docker 支持。如果想在 1.37.x 繼續(xù)使用 Docker Engine正確做法是安裝 cri-dockerd 適配器讓 kubelet 通過 CRI 接口與 Docker 通信。整篇文章會(huì)給出從環(huán)境準(zhǔn)備到集群驗(yàn)證的完整命令同時(shí)對這個(gè)方案背后的原理做說明方便你判斷哪種運(yùn)行時(shí)更適合自己的項(xiàng)目。適用讀者主要是這幾類第一公司服務(wù)器上已經(jīng)大量使用 Docker想把業(yè)務(wù)平滑遷移到 Kubernetes第二正在學(xué)習(xí) K8s想對比 containerd 與 Docker 在集群中的行為差異第三需要一個(gè)可復(fù)現(xiàn)的 kubeadm 安裝步驟把集群搭出來給開發(fā)或測試環(huán)境用。本文不會(huì)花太多篇幅講 Kubernetes 基礎(chǔ)概念而是直接圍繞部署鏈路展開所以如果你已經(jīng)知道 Deployment、Service、Pod 的基本含義理解起來會(huì)更快。對完全沒接觸過 K8s 的讀者先把這套安裝跑通再回來看概念文檔效果也會(huì)比空談概念好很多。部署細(xì)節(jié)上我會(huì)以 Ubuntu 22.04 作為示例系統(tǒng)過程中會(huì)同步給出 Rocky Linux / CentOS 等發(fā)行版的差異說明。硬件方面測試環(huán)境建議至少兩個(gè)節(jié)點(diǎn)master 2 核 4Gworker 2 核 4G系統(tǒng)盤 40G 以上。如果只是單機(jī)學(xué)習(xí)也可以把 master 和 worker 放在同一臺機(jī)器但需要處理 master 節(jié)點(diǎn)的 taint這部分我會(huì)在功能驗(yàn)證時(shí)提到。下面先從整體能力開始給出一張快速判斷表。1. 核心能力速覽能力項(xiàng)說明集群安裝工具kubeadm、kubelet、kubectl底層容器運(yùn)行時(shí)Docker Engine通過 cri-dockerd 適配 CRI目標(biāo)版本Kubernetes 1.37.x具體以官方軟件倉庫實(shí)際提供為準(zhǔn)節(jié)點(diǎn)組成至少 1 個(gè) master 和 1 個(gè) worker單機(jī)測試時(shí)可合并推薦硬件Master 2C4G 以上Worker 按業(yè)務(wù)負(fù)載評估操作系統(tǒng)Ubuntu 22.04/24.04、Rocky Linux 9、CentOS 7/9 等主流 Linux 發(fā)行版網(wǎng)絡(luò)方案Flannel、Calico、Cilium 等 CNI 插件任選一種API 能力kube-apiserver 提供完整 REST APIkubectl 和 HTTP 客戶端都能調(diào)用批量任務(wù)原生支持 Deployment、StatefulSet、Job、CronJob 等工作負(fù)載適用場景生產(chǎn)集群搭建、容器化應(yīng)用遷移、Docker 生態(tài)兼容性驗(yàn)證、K8s 學(xué)習(xí)上表最需要關(guān)注的是“底層容器運(yùn)行時(shí)”這一行。Docker 并不是一個(gè)能直接接入 Kubernetes 高版本的 CRI 實(shí)現(xiàn)因此一旦你決定“底層走 Docker”就等于在 kubelet 和 Docker Engine 之間增加了一個(gè)適配組件 cri-dockerd。這個(gè)組件會(huì)帶來少量額外管理和資源開銷但能讓你繼續(xù)使用熟悉的 docker ps、docker logs、docker exec 等命令排查集群里的容器這是很多從 Docker 遷移過來的運(yùn)維團(tuán)隊(duì)比較看重的一點(diǎn)。2. 為什么 K8s 與 Docker 之間多了一層適配在 Kubernetes 的設(shè)計(jì)里每個(gè)節(jié)點(diǎn)上的 kubelet 只通過 CRIContainer Runtime Interface與容器運(yùn)行時(shí)通信。早期版本內(nèi)置了 dockershim讓 kubelet 可以直接操作 Docker但在 1.24 版本后這個(gè) shim 被徹底移除官方推薦直接使用 containerd 或 CRI-O。很多用戶還想繼續(xù)使用 Docker主要原因是團(tuán)隊(duì)已有的鏡像倉庫里可能全是 Docker 構(gòu)建的鏡像或者從 Docker Compose 遷移到 Kubernetes 的過程中希望底層行為和 Docker 保持一致方便對照排查。cri-dockerd 就是為這個(gè)場景準(zhǔn)備的適配器。它實(shí)現(xiàn)了 Kubernetes 的 CRI 接口把 kubelet 發(fā)出的請求轉(zhuǎn)換成 Docker API 調(diào)用最終由 Docker Engine 完成容器生命周期管理。數(shù)據(jù)鏈路大致是這樣的kubelet - CRI 調(diào)用 - cri-dockerd - Docker API - dockerd - containerd - runc - 容器進(jìn)程安裝 cri-dockerd 之后kubelet 通過unix:///var/run/cri-dockerd.sock這個(gè) socket 與它通信而不是默認(rèn)的unix:///var/run/containerd/containerd.sock。kubeadm init 和 kubeadm join 時(shí)需要顯式指定 cri socket這一點(diǎn)非常關(guān)鍵否則 kubeadm 會(huì)優(yōu)先去尋找 containerd導(dǎo)致集群雖然裝好了但底層還是 containerd和你預(yù)想的不一致。還有一個(gè)必須處理的點(diǎn)是 cgroup 驅(qū)動(dòng)。Kubernetes 控制面和 kubelet 默認(rèn)傾向于使用 systemd cgroup driver而 Docker 安裝后默認(rèn)可能是 cgroupfs。如果兩者不一致節(jié)點(diǎn)會(huì)一直處于 NotReady 狀態(tài)或者 Pod 調(diào)度后報(bào)錯(cuò)。下文安裝 Docker 時(shí)會(huì)直接修改 daemon.json把 Docker 的 cgroup driver 固定為 systemd。這也意味著這套方案并不是“裝完就能跑”需要在配置層面做好對齊。3. 節(jié)點(diǎn)規(guī)劃與環(huán)境準(zhǔn)備3.1 節(jié)點(diǎn)規(guī)劃開始安裝前先確認(rèn)節(jié)點(diǎn)和網(wǎng)絡(luò)條件。這里給出一個(gè)兩節(jié)點(diǎn)測試環(huán)境作為示例生產(chǎn)環(huán)境可根據(jù)業(yè)務(wù)規(guī)模擴(kuò)展。節(jié)點(diǎn)角色主機(jī)名IP 示例配置建議masterk8s-master192.168.1.102C4G 以上workerk8s-worker1192.168.1.112C4G 以上按業(yè)務(wù)評估所有節(jié)點(diǎn)都需要有固定的主機(jī)名并且/etc/hosts中最好寫入包含其他節(jié)點(diǎn)的 IP 映射避免 DNS 解析問題。3.2 關(guān)閉 swap 與加載內(nèi)核模塊kubelet 默認(rèn)不允許節(jié)點(diǎn)使用 swap。測試環(huán)境直接關(guān)掉最省事避免后續(xù)參數(shù)不一致sudo swapoff -a sudo sed -i / swap / s/^/#/ /etc/fstab然后加載 Kubernetes 需要的內(nèi)核模塊并調(diào)整網(wǎng)絡(luò)轉(zhuǎn)發(fā)參數(shù)cat EOF | sudo tee /etc/modules-load.d/k8s.conf overlay br_netfilter EOF sudo modprobe overlay sudo modprobe br_netfilter cat EOF | sudo tee /etc/sysctl.d/k8s.conf net.bridge.bridge-nf-call-iptables 1 net.bridge.bridge-nf-call-ip6tables 1 net.ipv4.ip_forward 1 EOF sudo sysctl --system如果不加載br_netfilter常見的現(xiàn)象是 Flannel 或 Calico 容器啟動(dòng)后網(wǎng)絡(luò)策略和流量轉(zhuǎn)發(fā)異常節(jié)點(diǎn)狀態(tài)倒是 Ready但跨節(jié)點(diǎn) Pod 通信不通。所以這步不要跳過。3.3 防火墻與端口規(guī)劃各節(jié)點(diǎn)之間需要放行 Kubernetes 組件通信端口。如果使用云廠商安全組或者本機(jī)啟用 firewalld / ufw需要按下面這張表精確放行端口協(xié)議用途6443TCPkube-apiserver所有節(jié)點(diǎn)訪問10250TCPkubelet 指標(biāo)、日志、exec10259TCPkube-scheduler10257TCPkube-controller-manager2379/2380TCPetcd 客戶端和集群通信30000-32767TCP/UDPNodePort 服務(wù)訪問內(nèi)網(wǎng)測試環(huán)境如果節(jié)點(diǎn)彼此信任可以臨時(shí)關(guān)閉防火墻來減少變量但生產(chǎn)環(huán)境建議精確放行端口不要直接關(guān)閉防火墻。3.4 設(shè)置主機(jī)名在 master 節(jié)點(diǎn)執(zhí)行sudo hostnamectl set-hostname k8s-master在 worker 節(jié)點(diǎn)執(zhí)行sudo hostnamectl set-hostname k8s-worker1同時(shí)在所有節(jié)點(diǎn)的/etc/hosts中加入192.168.1.10 k8s-master 192.168.1.11 k8s-worker14. 安裝 Docker 與 cri-dockerd4.1 安裝 Docker Engine以 Ubuntu 22.04 為例安裝 Docker 官方源的常用步驟是sudo apt-get update sudo apt-get install -y ca-certificates curl gnupg sudo install -m 0755 -d /etc/apt/keyrings curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg sudo chmod ar /etc/apt/keyrings/docker.gpg echo \ deb [arch$(dpkg --print-architecture) signed-by/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \ $(. /etc/os-release echo $VERSION_CODENAME) stable | \ sudo tee /etc/apt/sources.list.d/docker.list /dev/null sudo apt-get update sudo apt-get install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin安裝完成后創(chuàng)建一個(gè)/etc/docker/daemon.json把 cgroup driver 固定為 systemd同時(shí)設(shè)置日志輪轉(zhuǎn)避免容器日志無限增長sudo mkdir -p /etc/docker cat EOF | sudo tee /etc/docker/daemon.json { exec-opts: [native.cgroupdriversystemd], log-driver: json-file, log-opts: { max-size: 100m }, storage-driver: overlay2 } EOF sudo systemctl enable docker sudo systemctl restart docker這里必須確認(rèn) docker 服務(wù)正常sudo systemctl status docker docker info | grep -i cgroup輸出應(yīng)該能看到Cgroup Driver: systemd。4.2 安裝 cri-dockerdcri-dockerd 是 Mirantis 維護(hù)的開源適配器GitHub 倉庫名為Mirantis/cri-dockerd。安裝方式是下載 release 二進(jìn)制放到/usr/local/bin再注冊 systemd 服務(wù)。版本以官方 Releases 頁面為準(zhǔn)我這里以 v0.3.16 作為示例版本號wget https://github.com/Mirantis/cri-dockerd/releases/download/v0.3.16/cri-dockerd-0.3.16.amd64.tgz tar -xvf cri-dockerd-0.3.16.amd64.tgz sudo install -o root -g root -m 0755 cri-dockerd /usr/local/bin/cri-dockerd然后創(chuàng)建兩個(gè) systemd 文件。第一個(gè)是 cri-docker.socketsudo tee /etc/systemd/system/cri-docker.socket EOF [Unit] DescriptionCRI Docker Socket for the API PartOfcri-docker.service [Socket] ListenStream%t/cri-dockerd.sock SocketMode0660 SocketUserroot SocketGrouproot [Install] WantedBysockets.target EOF第二個(gè)是 cri-docker.servicesudo tee /etc/systemd/system/cri-docker.service EOF [Unit] DescriptionCRI Interface for Docker Application Container Engine Documentationhttps://docs.mirantis.com Afterdocker.service Requiresdocker.service [Service] Typenotify ExecStart/usr/local/bin/cri-dockerd --container-runtime-endpoint fd:// Restartalways RestartSec10 StartLimitInterval0 StartLimitBurst5 [Install] WantedBymulti-user.target EOF啟動(dòng)并設(shè)置開機(jī)自啟sudo systemctl daemon-reload sudo systemctl enable cri-docker.socket cri-docker.service sudo systemctl start cri-docker.socket cri-docker.service驗(yàn)證 socket 是否存在ls -l /var/run/cri-dockerd.sock sudo systemctl status cri-docker.socket cri-docker.service到這里Docker 底層已經(jīng)通過 cri-dockerd 暴露出了 CRI 接口。kubelet 使用這個(gè) socket 就能把 Pod 的創(chuàng)建請求交給 Docker Engine 處理。5. 安裝 kubeadm、kubelet、kubectl安裝 kubeadm、kubelet、kubectl 的方式通常通過官方軟件倉庫。以 Ubuntu/Debian 為例使用 pkgs.k8s.io 的 v1.37 倉庫sudo apt-get update sudo apt-get install -y apt-transport-https ca-certificates curl gpg curl -fsSL https://pkgs.k8s.io/core:/stable:/v1.37/deb/Release.key | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg echo deb [signed-by/etc/apt/keyrings/kubernetes-apt-keyring.gpg] https://pkgs.k8s.io/core:/stable:/v1.37/deb/ / | sudo tee /etc/apt/sources.list.d/kubernetes.list sudo apt-get update sudo apt-get install -y kubelet kubeadm kubectl sudo apt-mark hold kubelet kubeadm kubectl如果你的倉庫里還沒有提供 1.37.x 的完整版本可以用下面的命令查看可安裝的版本列表apt-cache madison kubeadmRHEL/Rocky/CentOS 的倉庫寫法稍有不同cat EOF | sudo tee /etc/yum.repos.d/kubernetes.repo [kubernetes] nameKubernetes baseurlhttps://pkgs.k8s.io/core:/stable:/v1.37/rpm/ enabled1 gpgcheck1 gpgkeyhttps://pkgs.k8s.io/core:/stable:/v1.37/rpm/repodata/repomd.xml.key excludekubelet kubeadm kubectl EOF sudo setenforce 0 sudo sed -i s/^SELINUXenforcing$/SELINUXpermissive/ /etc/selinux/config sudo yum install -y kubelet kubeadm kubectl --disableexcludeskubernetesRHEL 系列需要把 SELinux 設(shè)成 permissive否則 CNI 插件創(chuàng)建 veth 口時(shí)會(huì)受到限制。安裝完成后三個(gè)組件會(huì)自動(dòng)注冊 systemd 服務(wù)但kubelet現(xiàn)在先不要啟動(dòng)因?yàn)榧哼€沒初始化kubelet 啟動(dòng)后只會(huì)反復(fù)報(bào)錯(cuò)等待配置文件。等 kubeadm init 結(jié)束后再啟動(dòng)。6. 初始化 Master 節(jié)點(diǎn)6.1 準(zhǔn)備初始化參數(shù)到了最關(guān)鍵的一步。由于我們要讓底層運(yùn)行時(shí)走 Dockerkubeadm init必須帶上--cri-socketunix:///var/run/cri-dockerd.sock否則 kubeadm 自動(dòng)探測 CRI 時(shí)很可能找到 containerd導(dǎo)致后續(xù)集群雖然能用但容器實(shí)際由 containerd 管理。下面給出兩種初始化方式。第一種直接用命令行參數(shù)sudo kubeadm init \ --kubernetes-versionv1.37.x \ --apiserver-advertise-address192.168.1.10 \ --pod-network-cidr10.244.0.0/16 \ --cri-socketunix:///var/run/cri-dockerd.sock \ --image-repository registry.aliyuncs.com/google_containers注意v1.37.x要替換成你倉庫里看到的實(shí)際版本號比如v1.37.2。如果網(wǎng)絡(luò)能正常訪問 K8s 官方鏡像倉庫可以不加--image-repository如果拉鏡像比較慢或失敗再考慮使用國內(nèi)鏡像倉庫。第二種方式把參數(shù)寫入 kubeadm 配置文件。以 kubeadm.k8s.io/v1beta4 為例部分實(shí)際版本字段需要按你的 kubeadm 版本調(diào)整apiVersion: kubeadm.k8s.io/v1beta4 kind: InitConfiguration localAPIEndpoint: advertiseAddress: 192.168.1.10 bindPort: 6443 nodeRegistration: criSocket: unix:///var/run/cri-dockerd.sock name: k8s-master --- apiVersion: kubeadm.k8s.io/v1beta4 kind: ClusterConfiguration kubernetesVersion: 1.37.x networking: podSubnet: 10.244.0.0/16保存為kubeadm-config.yaml后執(zhí)行sudo kubeadm init --configkubeadm-config.yaml6.2 配置 kubectl初始化成功后末尾會(huì)輸出一段配置 kubectl 的命令。復(fù)制到 shell 里執(zhí)行mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config然后確認(rèn)集群組件狀態(tài)kubectl get nodes kubectl get pods -A這里會(huì)遇到一個(gè)正常的現(xiàn)象Node 可能是 NotReady很多系統(tǒng) PodCoreDNS顯示 Pending。原因不是集群壞了而是還沒有安裝 CNI 網(wǎng)絡(luò)插件。6.3 安裝 CNI 網(wǎng)絡(luò)插件CNI 負(fù)責(zé) Pod 網(wǎng)絡(luò)不裝的話節(jié)點(diǎn)無法變成 Ready。這里以 Flannel 為例因?yàn)樗鼘?Pod CIDR 的默認(rèn)配置正好是10.244.0.0/16和上面的初始化參數(shù)匹配kubectl apply -f https://raw.githubusercontent.com/flannel-io/flannel/master/Documentation/kube-flannel.yml如果使用 Calico則把--pod-network-cidr192.168.0.0/16寫入初始化參數(shù)再應(yīng)用 Calico 的 manifest。安裝后等待 1-2 分鐘kubectl get nodes -o wide kubectl get pods -A | grep -E flannel|calico當(dāng) master 節(jié)點(diǎn)狀態(tài)變成 Ready并且 CNI Pod 都處于 Running說明集群控制面已經(jīng)可用。7. 加入 Worker 節(jié)點(diǎn)kubeadm init成功時(shí)終端會(huì)輸出一條 join 命令類似sudo kubeadm join 192.168.1.10:6443 --token token \ --discovery-token-ca-cert-hash sha256:hash \ --cri-socketunix:///var/run/cri-dockerd.sock這里必須把--cri-socket補(bǔ)上否則 worker 節(jié)點(diǎn)的 kubelet 會(huì)去找 containerd和 master 使用的運(yùn)行時(shí)不一致雖然也可能加入成功但后續(xù)排查時(shí)會(huì)多一層問題。如果當(dāng)時(shí)沒復(fù)制 join 命令可以在 master 節(jié)點(diǎn)重新生成 tokensudo kubeadm token create --print-join-command拿到 token 后在 worker 節(jié)點(diǎn)執(zhí)行 join 命令。執(zhí)行完畢后回到 master 節(jié)點(diǎn)查看kubectl get nodes -o wide正常情況下master 和 worker 都應(yīng)該是 Ready 狀態(tài)。如果 worker 一直 NotReady先看 worker 節(jié)點(diǎn) kubelet 狀態(tài)systemctl status kubelet journalctl -u kubelet -f8. 功能測試與效果驗(yàn)證8.1 驗(yàn)證節(jié)點(diǎn)和系統(tǒng) Pod集群搭建完成后第一件事是確認(rèn)所有節(jié)點(diǎn) Ready并且所有kube-system命名空間下的 Pod 都處于 Runningkubectl get nodes kubectl get pods -A這個(gè)步驟能判斷集群組件是否健康。如果某個(gè) system Pod 反復(fù)重啟優(yōu)先看它的日志kubectl logs -n kube-system pod-name8.2 部署一個(gè)測試應(yīng)用為了驗(yàn)證業(yè)務(wù)調(diào)度和 Service 暴露創(chuàng)建一個(gè)簡單的 Nginx DeploymentapiVersion: apps/v1 kind: Deployment metadata: name: nginx-test spec: replicas: 2 selector: matchLabels: app: nginx-test template: metadata: labels: app: nginx-test spec: containers: - name: nginx image: nginx:1.27 ports: - containerPort: 80 --- apiVersion: v1 kind: Service metadata: name: nginx-test-svc spec: type: NodePort selector: app: nginx-test ports: - port: 80 targetPort: 80 nodePort: 30080保存為nginx-test.yaml并應(yīng)用kubectl apply -f nginx-test.yaml kubectl get deployment nginx-test kubectl get pods -o wide kubectl get svc nginx-test-svc然后通過任意節(jié)點(diǎn)的30080端口訪問測試服務(wù)。如果訪問不到先查 Service 和 Endpointskubectl describe svc nginx-test-svc kubectl get endpoints nginx-test-svc8.3 驗(yàn)證底層確實(shí)走 Docker這是本文方案的關(guān)鍵驗(yàn)證點(diǎn)。在任意節(jié)點(diǎn)上執(zhí)行docker ps --format table {{.Names}}\t{{.Image}}\t{{.Status}} | grep k8s_只要看到容器名帶k8s_前綴就說明這個(gè)節(jié)點(diǎn)的 Pod 容器確實(shí)由 Docker 創(chuàng)建和管理。再用 crictl 驗(yàn)證同一個(gè)視圖cat EOF | sudo tee /etc/crictl.yaml runtime-endpoint: unix:///var/run/cri-dockerd.sock image-endpoint: unix:///var/run/cri-dockerd.sock EOF sudo crictl pscrictl ps會(huì)列出 Kubernetes 視角下的容器列表。如果 Docker 和 crictl 都能看到相同容器說明這層適配鏈路是通的kubelet - cri-dockerd - Docker Engine - 容器如果 crictl 報(bào)錯(cuò)找不到 socket多半是 cri-dockerd 服務(wù)沒起來或者/etc/crictl.yaml的配置沒有生效。8.4 驗(yàn)證擴(kuò)容和滾動(dòng)更新Kubernetes 的日常操作驗(yàn)證可以先擴(kuò)容看 Pod 分布kubectl scale deployment nginx-test --replicas5 kubectl get pods -o wide再做一個(gè)原地滾動(dòng)更新鏡像標(biāo)簽kubectl set image deployment/nginx-test nginxnginx:1.27-alpine kubectl rollout status deployment/nginx-test最后看日志是否能正常輸出kubectl logs -l appnginx-test --tail109. 接口 API 與批量任務(wù)示例9.1 通過 kubectl proxy 調(diào)用 APIKubernetes 的 kube-apiserver 暴露了一整套 REST API日??吹降氖?kubectl 封裝。你可以開啟一個(gè)本地代理直接用 curl 調(diào)用kubectl proxy --port8080 然后請求 APIcurl http://127.0.0.1:8080/api/v1/namespaces/default/pods返回結(jié)果是 JSON 格式的 Pod 列表。這里可以用一個(gè)小腳本提取 Pod 名稱curl -s http://127.0.0.1:8080/api/v1/namespaces/default/pods | \ python3 -c import sys, json; datajson.load(sys.stdin); print(\n.join([item[metadata][name] for item in data[items]]))如果需要更完整的授權(quán)方式推薦使用 ServiceAccount token。這就涉及到 RBAC 配置生產(chǎn)環(huán)境不建議直接使用kubectl proxy給外部系統(tǒng)調(diào)用只適合本地調(diào)試。9.2 用 CronJob 做批量任務(wù)Kubernetes 原生支持 Job 和 CronJob適合批量處理和定時(shí)任務(wù)。下面這個(gè)示例每天凌晨兩點(diǎn)執(zhí)行一次歸檔操作apiVersion: batch/v1 kind: CronJob metadata: name: batch-archive-job spec: schedule: 0 2 * * * jobTemplate: spec: template: spec: containers: - name: archive image: busybox:1.36 command: [/bin/sh, -c, echo batch job at $(date); ls /data] restartPolicy: OnFailure應(yīng)用并查看執(zhí)行記錄kubectl apply -f cronjob.yaml kubectl get cronjob kubectl get jobs --watch批量任務(wù)的重點(diǎn)是給容器配置足夠的資源限制和超時(shí)避免某個(gè)異常任務(wù)一直占住節(jié)點(diǎn)資源。生產(chǎn)級批量框架還可以搭配 Argo Workflows 或 Volcano但基礎(chǔ)的 CronJob 對很多運(yùn)維場景已經(jīng)夠用。10. 資源占用與性能觀察10.1 控制面組件資源占用master 節(jié)點(diǎn)部署了 kube-apiserver、etcd、kube-controller-manager、kube-scheduler再加上 kubelet 和 Docker / cri-dockerd即使不跑業(yè)務(wù)也會(huì)占一部分內(nèi)存。從低負(fù)載測試集群的經(jīng)驗(yàn)看空閑狀態(tài)下這些組件常駐內(nèi)存加起來在 1.5GB 到 2.5GB 之間具體數(shù)值與集群規(guī)模、日志量、etcd 數(shù)據(jù)量有關(guān)實(shí)際以你的環(huán)境為準(zhǔn)。建議 master 節(jié)點(diǎn)不要低于 4G 內(nèi)存否則初始化過程中容易出現(xiàn)一次拉起多個(gè)鏡像失敗的情況。觀察命令如下free -h docker stats --no-stream crictl stats kubectl top node注意kubectl top node需要先安裝 metrics-server。如果是臨時(shí)查看節(jié)點(diǎn)資源直接在節(jié)點(diǎn)上執(zhí)行free -h和docker stats更直接。10.2 Docker cri-dockerd 與 containerd 的差異相比直接在節(jié)點(diǎn)上使用 containerd這套方案多了一層 cri-dockerd 適配器因此 CPU 和內(nèi)存占用會(huì)略高一些。優(yōu)勢是運(yùn)維習(xí)慣不變你可以用 docker exec 進(jìn)入任意容器排查用 docker logs 拉取標(biāo)準(zhǔn)輸出鏡像構(gòu)建和 Docker Compose 遷移也更順暢。劣勢是容器的創(chuàng)建路徑更長大規(guī)模高并發(fā)創(chuàng)建 Pod 時(shí)性能會(huì)有輕微損耗。如果集群規(guī)模在幾十個(gè)節(jié)點(diǎn)以內(nèi)這個(gè)差異通常感知不明顯。如果集群會(huì)擴(kuò)展到幾百個(gè)節(jié)點(diǎn)或者對 Pod 啟動(dòng)速度和資源占用有極致要求建議考慮 containerd 作為運(yùn)行時(shí)。選擇哪種運(yùn)行時(shí)本質(zhì)上是運(yùn)維習(xí)慣和性能效率之間的取舍。10.3 與網(wǎng)絡(luò)插件配合時(shí)的資源觀察CNI 組件同樣會(huì)占用節(jié)點(diǎn)資源。以 Flannel 為例每個(gè)節(jié)點(diǎn)都會(huì)運(yùn)行一個(gè) flanneld 進(jìn)程負(fù)責(zé)維護(hù) vxlan 網(wǎng)絡(luò)。如果節(jié)點(diǎn)數(shù)量很多或者 Pod 流量很大可以觀察 flannel 進(jìn)程的 CPU 和內(nèi)存ps aux | grep flanneld如果發(fā)現(xiàn) CNI 組件異常消耗內(nèi)存優(yōu)先檢查節(jié)點(diǎn)是否出現(xiàn)了大量 Pod 重建以及網(wǎng)絡(luò)策略是否過于復(fù)雜。11. 常見問題與排查方法問題現(xiàn)象可能原因排查方式解決方案kubeadm init 拉鏡像失敗網(wǎng)絡(luò)無法訪問鏡像倉庫或鏡像倉庫地址不通查看 init 輸出日志確認(rèn)鏡像名稱使用--image-repository指定可訪問的鏡像倉庫節(jié)點(diǎn)一直 NotReadyCNI 未安裝或 kubelet 與運(yùn)行時(shí)通信異常kubectl get nodesjournalctl -u kubelet -f安裝 Flannel/Calico檢查 cri socket 配置CoreDNS Pod 反復(fù) CrashLoopBackOff網(wǎng)絡(luò)插件未就緒或容器運(yùn)行時(shí)異常kubectl logs -n kube-system coredns-pod等待網(wǎng)絡(luò)插件就緒重啟 CoreDNS DeploymentPod 調(diào)度后容器創(chuàng)建失敗cgroup driver 不一致docker info | grep Cgroupkubelet 配置統(tǒng)一為 systemd修改 daemon.json 后重啟 dockercri-dockerd.sock 不存在cri-dockerd 服務(wù)沒啟動(dòng)systemctl status cri-docker.socket cri-docker.service啟動(dòng)服務(wù)檢查 ExecStart 路徑是否正確kubeadm join 找不到 K8s API Servertoken 過期或端口不通在 master 執(zhí)行kubeadm token list檢查 6443 端口重新生成 token或放行防火墻端口NodePort 無法訪問Service 類型不是 NodePort或防火墻未放行 30000-32767kubectl get svcss -lntp | grep 30080修改 Service 類型或在安全組放行 NodePort 段kubectl logs卡住無輸出kubelet 與 apiserver 網(wǎng)絡(luò)異?;蛉萜饕淹顺鰇ubectl describe pod檢查節(jié)點(diǎn) 10250 端口確認(rèn)節(jié)點(diǎn)間網(wǎng)絡(luò)排查 kubelet 狀態(tài)集群 Pod IP 在不同節(jié)點(diǎn)間不通CNI 插件異?;?bridge-nf-call-iptables 未開啟sysctl net.bridge.bridge-nf-call-iptables查看 CNI 日志重新執(zhí)行 sysctl 配置重啟 CNI Pod業(yè)務(wù)容器重啟頻率很高資源限制過低或健康檢查失敗kubectl describe pod查看 OOMKilled 狀態(tài)調(diào)高資源 limits或調(diào)整 liveness/readiness 探針排查 Kubernetes 問題時(shí)最重要的兩個(gè)命令是kubectl describe和日志查看。很多表面現(xiàn)象比如 Pod 一直 Pending、Node 狀態(tài) NotReady、Service 不通最后都能在 describe 輸出和系統(tǒng)組件日志里找到直接原因。12. 最佳實(shí)踐與使用建議12.1 第一次部署先小參數(shù)驗(yàn)證不要一上來就鋪幾十個(gè)節(jié)點(diǎn)。先在兩個(gè)節(jié)點(diǎn)上跑通整套流程確認(rèn) Docker、cri-dockerd、kubeadm 的版本匹配關(guān)系再逐步增加節(jié)點(diǎn)。尤其是 cri-dockerd 版本和 Docker 版本之間最好以官方 Release 說明為準(zhǔn)。沒有驗(yàn)證過的新版本先在小環(huán)境里跑幾天再考慮上生產(chǎn)。12.2 模型文件、鏡像、配置文件分目錄管理集群運(yùn)維中建議把 kubeadm 配置、CNI manifest、業(yè)務(wù) YAML 分目錄存放。比如/opt/k8s/ └── manifests/ ├── kubeadm-config.yaml ├── cni/ └── apps/這樣升級集群、排查配置差異時(shí)能快速找到對應(yīng)文件也方便用 git 做版本管理。12.3 批量任務(wù)要加日志和失敗重試Kubernetes 原生 Job 的重試策略有限。如果是重要批量任務(wù)建議在應(yīng)用層實(shí)現(xiàn)失敗重試并把日志寫入持久化存儲(chǔ)。CronJob 也建議設(shè)置startingDeadlineSeconds避免調(diào)度堆積時(shí)產(chǎn)生大量并發(fā) Job。12.4 安全與合規(guī)提醒部署 Kubernetes 集群時(shí)組件和鏡像應(yīng)該只從官方或可信來源獲取不要使用來路不明的二進(jìn)制和容器鏡像尤其是涉及生產(chǎn)數(shù)據(jù)和用戶隱私時(shí)。集群中如果運(yùn)行人臉、聲音、版權(quán)素材等敏感數(shù)據(jù)的處理任務(wù)必須先確認(rèn)數(shù)據(jù)來源合法、已獲得授權(quán)并按照企業(yè)內(nèi)部安全規(guī)范設(shè)置網(wǎng)絡(luò)策略和訪問控制。kube-apiserver 的 6443 端口不要直接暴露到公網(wǎng)建議放在內(nèi)網(wǎng)或通過堡壘機(jī)訪問啟用 RBAC 并配置認(rèn)證插件避免未授權(quán)訪問。12.5 定期備份 etcdetcd 是整個(gè)集群狀態(tài)的核心。生產(chǎn)環(huán)境要配置 etcd 的定期快照備份到獨(dú)立存儲(chǔ)。備份命令可以直接使用 etcdctlETCDCTL_API3 etcdctl --endpointshttps://127.0.0.1:2379 \ --cacert/etc/kubernetes/pki/etcd/ca.crt \ --cert/etc/kubernetes/pki/etcd/server.crt \ --key/etc/kubernetes/pki/etcd/server.key \ snapshot save /backup/etcd-snapshot.db出現(xiàn)節(jié)點(diǎn)恢復(fù)、集群擴(kuò)容等場景時(shí)這份備份就是最后的兜底。13. 總結(jié)與下一步這套 kubeadm 安裝 K8s 1.37.x 并讓底層走 Docker 的方案最值得嘗試的點(diǎn)在于它保留了 Docker 的運(yùn)維習(xí)慣同時(shí)讓你拿到一個(gè)可用的多節(jié)點(diǎn) Kubernetes 集群。安裝完成后最應(yīng)該先驗(yàn)證三件事第一節(jié)點(diǎn)是否為 Ready系統(tǒng) Pod 是否 Running第二docker ps 能否看到帶k8s_前綴的容器第三部署一個(gè) Nginx Service 并確認(rèn) NodePort 能正常訪問。這三步通過說明 kubelet、cri-dockerd、Docker Engine 整條鏈路是通的。最容易踩的坑有兩個(gè)一個(gè)是沒有在kubeadm init和kubeadm join中顯式指定 cri socket導(dǎo)致集群底層實(shí)際變成 containerd另一個(gè)是 Docker 的 cgroup driver 和 Kubernetes 不一致導(dǎo)致節(jié)點(diǎn)狀態(tài)異常。提前把這兩點(diǎn)處理好整個(gè)安裝過程會(huì)順暢很多。后續(xù)可以繼續(xù)擴(kuò)展的方向包括接入 Cilium 或 Calico 實(shí)現(xiàn)更精細(xì)的網(wǎng)絡(luò)策略安裝 metrics-server 或 Prometheus 做監(jiān)控告警通過 Ingress Controller 替代 NodePort 暴露服務(wù)把現(xiàn)有 Docker Compose 服務(wù)逐步改寫成 Deployment 和 StatefulSet。等這一套集群穩(wěn)定運(yùn)行一段時(shí)間后再評估是否需要切換到底層 containerd對比兩者的資源占用和管理成本。建議收藏備用尤其是準(zhǔn)備在多臺機(jī)器上復(fù)現(xiàn)這個(gè)部署流程的時(shí)候。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
人妻啊啊人妻啊| 婷婷久久久精品| 骚乳在线| 亚洲伊人久久精品影院| 色五月AV在线| 亚洲 小说 欧美 激情 另类| 人人操人人操草草| 天天做天天爽| 91撸色网 玖玖网 欧美| 国产2.3.4区| 易易A毛视频| 午夜操一操| 97爱综合| 国产高潮AA片免费看| 久久香蕉网| 久久99黄色卞西瓜| 中国的操老妇女| 少妇专区一二三四五| 在线播放中文字幕| 91色人妻| 熟女突然公开看18禁影片 | 久久在线观看免费视频| 亚洲无码免费看| 狠狠色色| 1204av韩国| 偷拍欧美亚洲| 人人干黄色| 国产精品秘 福利姬在线观看| 亚洲欲色9532548967一区| 久久久久ab| 欧美色爱综合| 日韩无码精品综合久久| WWW黄片COM| 东京成人一区| 亚洲成人一区二区精品| 操少妇很爽av| 无码九九| 老子午夜伦不卡影院| 日韩性爱电影一区| 视频在线97| 综合色99| 日韩久久艹| 久久青娱乐| 中文?日韩?免费?精品| 亚乱色| 96精品在线| 在线情色电影 91大 | 人妻熟女一区二区三区视频| 国产精品69人妻无码久久久| 天美传媒国产原创中文字幕亚洲欧美另类| 蜜乳av一区二区三区四区不卡| 久久国产乱子伦精品免费女,网站| 操逼天美3区| 99久视频| 四虎精品一区| 懂色AV蜜臀无码精品APP| 少妇毛片久久| 欧综合网| 九九无码视频| 98福利在线视频| 国产无码三级视频在线观看| 久久久久人妻| 97中文字幕一区| 亚洲国产精品9999在线观看| 九九久久久九九| 亚洲情色 自拍| 伊人丁香五月婷婷| 人妻社区男人天堂| 久久精品国产Aⅴ| 成人日韩欧美| 高潮9999外国| 综合网色| 美女啊啊啊啊啊| 亚洲一区日韩| 91亚洲黄色网| 强奸a片网| 嫩草影院永久在线制服丝袜| 韩国三级一线观看久| www.狠狠| 国产真实子伦对白| 美女黄色一级A视频| 国产中文日韩欧美一区二区三区人妻丝袜美腿 | 欧美1区二区三区公司| 亚洲丝袜色| 青青草大香蕉视频| 六月丁香网| 香蕉av一区二区三区| 粉嫩av久久一区二区三区| 97人肏| 女生看匆91网站| 韩国黄色片精品久久久| 99视频自拍区| 99热在线观看| 亚洲成成熟女人综合一区二区| 大色综合网| 超碰97久久国| 国产97视频免费观看| 欧美天天综合站| 国产精品无码av嫩草| 亚洲国产第一页综合视频| 亚洲色图欧美色18直播在线| 人人天天欧洲| se吧提供国产乱老熟视频胖女人| 久久鲁夜| 秋霞无码av鲁丝片一区| 日韩精品一区,二区 九九...老司机| 一本久道在线综合视频| 夜夜嗨绯色| 免费av在线播放二区| 久久超碰亚洲人| 中文字幕天堂在线| 影音先锋一区二区在线资源| 一级做a爰片久久毛片图片| 大香蕉色网| 国产成人自拍视频视频| 九草九九九| 五月天综合网| 女性91网站| 在线啊啊啊啊| 精品一区二区综合熟妇| 精久久久| 蜜桃视频精品一区二区| 精品无码欧美三级| 色偷综合| 国产免费一区二区三区最新不卡| 91亚洲欧美| 91九色丨国产丨爆乳| 影音先锋日本乱伦| 亚洲91射| 欧美熟妇视频| 被男人添B超爽视频| 久久99草| 美国美女AV在线| 国产精品爱欲| 蜜臀网 一区| 亚码激情| 欧美|91色综合| WWW.操逼.COM| 另类视频在线| 99热只有| 在线播放免费av福利片| 久久久精品九| 91人人爽人人爽| A级毛片在线看免费| 久久久久久裸体| 欧美亚洲日本激情在线| 97香蕉网| 欧美激情黑人| 欧美精品在线观看| 亚洲一区二区精品福利| 国产自制av蜜乳| 国产欧美成人精品| 久久久久性熟视频| 超碰人人干| 精品久久久久久中文字幕视频免费| 国产天天骚| 美国人人操人人操| 97精品国产| 国产精品粉嫩福利在线| 国产精品久久久视频| 特级特黄一级毛片免费| 后入精品| 久久精品亚洲东京热色播| 国产熟女完整版中字 | 日本三级中国三级99人妇网站| 久久专区| 中文字幕伊人| 色婷婷综合久久久久中文一区二区 | 亚洲网污污污污| 久久99亚洲精品久久99果| 天天操夜夜操| 国产97av| www.男人天堂| 色呦呦、国产精品| 亚洲AV成人无码一区二区三区在线观看| 国产h小视频在线观看免费| 日韩 人妻 精品| 色色婷婷丁香| AV天堂丝袜| 欧美日韩国产精品久久色婷婷| 国产精品一区人妻精品阁在线| 亚洲日本天堂| 超碰 av 女人天堂| 大香蕉92| 欧美天天综合网| 国产精品久久久吖| 黄片www.| 中文字幕亚洲欧美在线不卡| 91大胆欧美| 啪啪视频亚洲第一| 中文字幕高清精品一区| 热99这里有精品综合久久| 国产女主播视频在线观看| 大香蕉色网| 殴美牲| 日韩无码专区| 操美女高潮抽搐白浆| 精品高清一区二区三区三州| 麻豆国产精品午夜视频| 大香蕉淫人网| 美女十八禁| 激情久久日韩精品中文字幕麻豆| 自拍欧美| 超碰这里只有精品| 久久精品72| 91女人的网站| 久久超碰日韩精品| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 日本大香蕉综合网| 久久久久久国产成人| 亚洲无码成人精品| 啊…啊…操我用力操我| 91少妇通奸网站| 日韩欧无码一区二区三区免费不卡| 精品亚洲黄色片 国产精品导航一区二区| 六月丁香啪啪| 国产自啪精品视频网站黑丝| 亚洲乱色熟女一区| 18一区二区三区| 中日韩久久久免费看| 久久免费99精品久久久久久| 91色艳| 天天日美女的B| 国产亚洲精品久久久久小| 淮穴色AV| 久久亚洲一区女同性恋中文字幕 | 妇女性内射冈站HDWWWCOM| 国产精品视频精品一二| 99re在线精品78| 视频一区二区三区精品| 亚洲熟妇丝袜在线观看| 欧美姓爱综合网| 日韩亚洲Av人人夜夜澡人人爽| 国产农村妇女精品一| 狠日欧美| 猛交交| 九九九一二三| 亚洲 日本 一 二 三| 天天性射网| 免费操逼视频下载| 夜夜肏2021| 蜜臀久久久国产| 日韩熟女操逼| 中文字幕少妇色| 日少妇视频| 国产精品色色| 亚州性色| 综合网欧美在线| 91欧美丨精品丨入口| 日日骚网站| 一,爱啪啪,在线免费视频| 九九成人精品| 日韩无码a片| 久久久久久波多野吉衣高潮| J?P?NESEHD熟女熟妇伦| 一道本东京热加勒比一区二区三区 | 亚洲AV秘 精品久久老牛影视| 国产亚卅97| 丁香五六月啪啪| 有码色中文字幕在线观看| 极品国产内射| 麻豆AV96熟妇人妻| 91人妻做a观看视频| 大香蕉伊然在亚洲91| 国产极品粉嫩馒头一线天av| 嗯嗯啊啊好疼| 国产精品无码在线| 欧美日本不卡在线| 欧美精品另类人妖xxxx| 日韩一级久久毛片| 啊啊啊啊啊啊啊啊啊啊在线观看| 黄色视频特级毛片| 午夜福利合集| 野狼激情网| 综合久久久久久久久91| 18一区二区三区| 免費人妻夜夜爽天天爽爽一区| laoshunv91| 99热精品在线观看| 日韩乱伦影音先锋| 久久9 9 9精品| 日韩精品大香蕉伊人在线| 一级AAA片一区二区三区| 国产精品分类在线观看| 五月天偷拍| 欧美日韩在线小说 | 91暧暧| 日日夜夜精品视频| 男人 天堂 日 亚洲| 亚洲av影音先锋| 超碰97综合网| 日韩99神马视频播放片在线播放| 亚洲人体视频在线观看| 九九九热精品| 蜜臀av在线播放一区二区三区| 91无码西班牙视频在线| 91色色综合| 五月婷婷五月天| 久久免费99精品久久久久久| 久久婷婷苹果| 宅男91视频在线播放| 91在线超高颜值国产| 色五月AV在线| 夜夜操av亚洲一区二区| 激情四射五月天| av毛片aaaaa免费看| 涩涩久久精品| 韩国轻伦国内自拍一区| 色婷婷色99国产综合精品| 亚洲无码精品AV久久久| 97在线观看视频| 天天做天天爱天天爽| 四虎午夜影院| 天天欲望网| 久久亚洲人妻| 少妇免费视频| 五月综合久久| 欧美性爱www免费版| av中亚| 亚洲永久AV无码精品秋霞| 偷窥自拍A片| 国产美女在线精品免费看| 精品女同一区| 嗯嗯啊啊视频一区二区三区| 人妻天天夜夜爽一区二区| 最新三级网址| 99精品九九九九九九| 五月天久久婷婷亚洲| 久久久久久999| 国产熟妇一区二区| 欧美男人一区| 欧美精品1区2区3区| 青青免费在线视频一区| 欧洲久久一二线| 久久精品无码熟妇一区二区三区视频导航 | 日韩啪啪啪啪啪| 中国乱伦一区二区| 久久东京伊人一本到鬼色| 一区二区不卡视| 日韩欧美偷拍美女视频| 老师充足的奶水小说| 色色无码| 免费观看有码高清视频| 日本色婷婷| 国产AV高清AV无码| 天天干夜夜一操| 国产精品网址| 日本人妻中文字幕精品| av网站免费线看| 精品人妻久久久久一区二区三区| 为用户提供免费看黄网址在线观看| 少妇的嫩逼图片| 熟女自慰久久久| 91 丝袜在线| 蜜臀精品1区2区| 蜜臀久久一区二区| 激情综合97| 五月婷婷六月色| 黄网色一区二区三区四区精品| 人妻81p| AV一起草在线| 2019天天干天天操| 搡老女人老91妇女熟女| 正宗无毛一线天嫩逼| 狠狠干综合| 日本在线视频导航| 狠狠操,使劲操| 96精品久久| 亚洲 欧美 色图| 欧美综合亚洲综合| 亚洲欧美综合| 久久AV无码AV| 五十路六十路素人熟女| 国产操伦| 国产美女mm131爽爽爽爽| 日韩丝袜二区| 啪啪91| 人妻少妇久久久| 欧亚洲精品有视频| 9超碰免费| 日本大香蕉| Aa东京男人的天堂| 久久蜜桃一区二区| 91香蕉国产尤物视频| 国产精品懂色tv影视免费观看 | jiujiujiujingpin| 久久精品人妻一区二区三区| 91天美传媒在线观看| 亚洲一二三精品久久网| 日日夜夜国产综合| 色97欧美| 99精品国产户外露出| 欧美日韩狠狠爱| 少妇久久久久| 国产精品久久久久久高清无码免费看 | 国产女生在线| 色优久久| 你草精品在线视频| 亚洲激情深爱文学小说网站| 亚洲天天在线| 亚洲精品无码久久AV| 日本在线视频导航| 欧美久久草熟女| 后入式在线免费观看60秒| 日韩一级二级三级免费看完整版国语版 | 国产91丝袜在线播放蜜月| 99操逼| 日韩操啪| 亚洲经典啪啪| 麻豆AV短剧| 青青草中出视频 | 色爱国产| 蜜桃中文字日产乱幕4区| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 深爱激情五月天| 很黄很污的免费网站| 国产情色第一第二页在线观看| 乱人乱色一区二区三区免费| 中文字幕日韩电影人妻| 亚洲综合激情五月久久| 久久女同性恋一二区| 日本色日夜干| 亚洲综合中文字幕有码| 91最新综合| 四季av一区二区凹凸精品小说| 成年人网站在线免费观看| 免费人成?大片在线播放| 99热aaa| 日韩无码人妻中字久久三区四区| 国产免a费看黄片在线| 玖色AV| 亚洲在线A| av网站在线观看了| 欧美 亚洲 制服 精品| 色偷偷超碰亚洲| 午夜福利一区二区影院| 9999久久久久| 日韩专区久久久| 亚洲欧美日韩制服另类| 中文字幕在线观看丝袜| 精品无码产区一区二| 欧美超碰在线| 超碰碰碰碰| 九九人妻| 国产黄片精品在线| 日本999精品| 美女裸体无遮挡永久免费观看网站| 色牛牛AV| 国产熟女自拍| 青娱乐国产盛宴视频| 97超碰色屌| 亚州综合网| 婷婷激情五月综合| 国产精品97超碰| 日韩精品1区2区中文字幕| 97精品久久久久久久| 亚洲天天操| 五月婷婷五月天| 中文字幕AV片| 另类一区| 亚洲黄a三级三级三级看三级| 亚洲自拍偷拍视频在线| 翘臀vidoes| 中文字幕乱码在线观看| 五月丁香综合| 亚洲激情久久久伊人综合| 任你草| 伊人国产AV| 丰满熟妇大乳做爰| 婷婷亚洲色| 亚洲情色 无码专区| 亚洲精品国产日韩无码AV永久免| 91jk色拍| 一区不卡在线观看av| 欧美一二在线| 国产精品 久久久精品一牛| 日韩二级| 丰满人妻一区二区三区四区| 天天天天天超碰| 亚洲精品国产无码高清| 97超碰免费人人性爱| 天天做日日做| 午夜精品久久久久久久99| 亚洲暴力强奸AV| 少妇特黄一区二区三区| 国产农村一一级特黄毛片| 中出20p| 成人日韩欧美| 搡老熟女免费视频 | 欧美97免费| 熟女精品一区二区三区| 青青草色AV| 成人五月香网在线| 99视频这有这里有精品| A一级色女| 91一起操| 国产在线视频午夜精华在| 97资源欧美| 久久透逼视频| 色噜噜人妻av中文字幕| 色999人与兽| 国产亚洲深夜激情| 天天超级碰碰碰| 97人人操人人干| 欧差乱伦二三| 男人天堂网手机版婷婷| 亚洲,欧美,春色,另类| 一区AV| 蜜桃狠狠色伊人亚洲综合| 伊人激情| 日韩性爱1级片视频| 五十路成人在线视频二区三区| 一本道综合色图| 日本操逼aaaaa| 亚欧美色图| 91扒丝袜综合在线| 极品色www影院| 人妻精品免费一二三区| 超碰碰小说97| 欧美无圣光在线| 女人高潮大叫一级毛片| 国内精品久久人妻性色av| 日本高清视频在线观看黄已三辽| 精品人妻一区二区免费蜜桃| 亚洲精品人妻吞精av| 操美女高潮抽搐白浆| 亚洲 中文 欧美 日韩 在线| 亚洲人成色9999精品久久| 久草国产在线视频| 男人的天堂2018| 九九九九九九视频| 亚洲日本韩国在线| 国产午夜福利电影免费在线观看| 成人区人妻精品一| 91挑色欧美| 国产按摩一区二区三区| 秋霞影音一区二区三区| 亚洲中文字幕在线视频一区二区| 天天综合站| 久久久av爱| 九九成人| 美女黄频a美女大全免费皮| 国产乱伦搜索结果91P| 欧美97av| 中国熟女91| 国产传媒一区日韩| 午夜久久无码1000合集| 操香逼| 天天干人妇| 一区操逼| 亚洲国产成人精品久久久国产成人一区二区 | 日韩大香蕉AV影片| 欧美一二级| 久久精品国产97欧美精品亚洲 | JIZZJIZZ国产精品喷水| 综合夜夜| 超碰97男女| 亚洲诱惑天堂 | 99熟女| 97在线视频观看网站| 亚洲日韩天堂| 欧美丰满少妇交换91欧美精品| 婷婷五月天无码| 成人女人国产| 操九九九九九九| 超碰97人妻在线| 人妻乱仑一区二区三区| 国产成人精品必看| 日本韩国国产精品一区| 日韩综合色图| 欧美一品道| 97亚洲中文| 精品国产乱码久久久影院| 学生妹天天看| 日日骚精品视频| 亚洲AV无码久久精品蜜桃小说| 中文一区二区婷婷视频| 麻豆天美电影一区二区| 日韩另类| 加勒比大香蕉视频在线| 日本综合色图| 啊啊啊啊一区| 96AV精品| 亚洲精品男人的天堂| 99精品在线| 91精品伊人久久久大香线蕉91| 大色综合网| 手机在线中文字幕国产| 岛国大片在线观看网站入口| 九月丁香综合网| 囯产乱伦一区二区三女 | 一区二区三区免费岛国片| www.av在线视频| 国产久久成人| 亚洲午夜av| 久久婷婷亚洲| 五月激情综合网| 亚洲综合色男人网| 日韩精品一二三四| 人妻天天爽夜夜爽精品2| 少妇69中文| 97精品国产精品免费观看| 狠狠干2020| 91狠狠综合久久| 久久久久夜夜夜夜| 综合97| 26uuu成人影片| 亚洲国产精品无码AV久久久| 美女写真| 91操碰| 香蕉一区二区三区在线视频| 日韩欧美中文字| 亚洲第一男人天堂| 国产精品免费久久久久久久久久| 日韩欧美亚洲自拍偷拍| 日韩中文字幕人妻视频| 亚洲天堂99| 国产有码一区| 超碰到97情色| 九九综合九九综合| 国产家庭乱伦性爱视频| 亚洲熟女中文字幕在线| 骚乳在线| 久久久91福利姬| 97超碰超碰| 亚洲第一精品在线视频 | AA级电影三区| 五月色网| 天堂麻豆天美| 日日干夜夜欢| 激情小说亚洲| 韩国成人精品久久久免费看| a网站免费观看| 亚洲AV乱码专区国产噜噜亚洲| 色眯眯av| 永久电影三级在线观看| 亚洲精品aa久久伊人| 五月天婷婷影院| 欧美亚洲高清不卡| K8久久久久| 午夜福利无毒不卡| 免费一级视频特黄色大片| 少妇500双飞99| 日日碰视频网| 中文字幕精品免费一区二区| 亚欧韩av| 欧美亚洲涩涩| 久久这里只| 一级特级aaaa毛片免费观看 | 麻豆精品三区视频| 欧综合网| 中文字幕免费看大片| 大香蕉在线视频15| 5252色欧美在线男人的天堂| 亚洲av无码国产精品字幕| 激情五月天综合网| 国产精品色约约| 欧美一区二区日韩三区| 久久久艹艹艹| 怡红院成人视频| 欧美性爱视频免费一区一A | 国产精品午夜福利| 天天色黄色影院天天操| 加勒比在线视频| 午夜噜噜噜| 男人的天堂一区三区| 久噜噜| 99婷婷一区二区| 久久亚洲影院一区二区| 东北女人高潮视频| 午夜国产成人福利视频| 日本高清熟女久久一区| 91久久国产精品| 97国产伦理| 美国黄片aaa| 看看小穴| 啊啊啊好大好深| 视频黄色国产一级| 啊啊啊不要啊啊受不了了视频在线| 亚洲丝袜综合| 99免费视频| 人人妻人人爽人人精品| 无码国产精品午夜不卡(| 亚洲精品人伦一区二区| 久久精品中文字幕观看| 精品无码人妻一区二区免费蜜桃| 欧美人人曰人人操人人射射| 久久香蕉网| 狠狠入| 久久综合99| 999久久久国产精品| 久久国产精品一区二区| 黄片免费看的| 国产精品麻豆成人av| 殴美大黄片| 国产精品在线一区二区| 久综合国内精品自在自线| 97激情97激情| 91操操操操| 中文字幕交换人妻| 嗯嗯嗯啊啊啊干死我吧| 国产熟女完整版中字| 啊啊啊啊啊好舒服视频| 欧亚性爱视频免费看| 欧美精品亚洲精品日韩传电影| 亚州操逼图| 丝袜色综合| 丁香婷婷九月| 97天天| 久久久久密| 69av一区二区三区| 性爱AV天堂| 中国一区二区亚洲人妻| 国产人妻精品一区二区三区秋霞 | 国产精品亚洲四五区在线观看| 精品九九| 91日韩在线| 亚洲精品九九九| 久久综合女优| 国产精品激情久久久久久久| 天天干夜夜操一区二区| 亚洲欧洲另类| 日韩国产精品人妻无码久久久| 欧美高潮在线| 欧美麻豆成人同性GⅤ在线| 啊啊啊水好多| 精品久久久久瑟瑟| 可能人人看人人摸| 清纯唯美综合| 亚洲色图a| 国产成人无码高清| 国产精品白丝| 闷骚老熟女15P| 成人福利视频网| 中文字幕制服诱惑| 青青草字幕AV| 人妻AV 中文字幕的| www.色吧5.com| 日本一级不卡一二区| 亚州色交| 中文字幕aⅴ在线视频| 欧美黄业| 天堂涩涩| 色色色色色色色色色色色色色色综合| 1级午夜影院费免区| 日韩亚洲欧美中文字幕| 亚洲无码免费看| 亚州欧美在线| 99re久久| 人人摸人人入| 亚洲午夜蜜臀| 青青草日本中文字幕| 大香网站| 2018天天日天天日| 尤物AV免费网站| 日日天天久久啊啊aaa| 日本理论在线| 五月丁香黄色网| 99草精| 欧美人妻二区三区| 九九RE视频在线精品| 成在线人在线观看视频| 亚洲色图欧洲| 欧美 日韩第一性色| 2025亚洲男人天堂| 97人人干| WWW黄片COM| 久久久91| 日本精品久久久久久久| 夜夜爽妓女| 99啪啪| 欧美午夜一区二区三区| 欧美中文字幕日韩在线| 熟妇女伦乱视频| 国产成人啪一区二区| 夜夜国产一区| 用力操死我| 99性爱在线观看| 精品高清av中文字幕| 亚洲欧美另类小说| 蜜汁欧美| 国产精品3| 好爽,再快点啊哈嗯嗯嗯嗯| 超碰91在线| 在线无码操| 免费一级黄色录像影片| 狠狠久久手机视频精品| 97亚洲欧美| 日本欧美不卡| 啪啪啪男女亚洲中文字幕99| 97频视在线| 蜜臀久久在线视频| 欧美大香蕉97| 国产人伦精品一区二区三区| 五月丁香色色网| 亚洲欧洲国产综合av| 色综合久久88色综合久久天天| 中文字幕AV乱伦| 欧美视频一| 国产又粗又大硬免费色网视频| 欧亚日韩中文在线| 亚洲人天堂| 91 丝袜在线播放| 欧美日韩国产电影| 精品国产乱码久久久久久口爆网站 | 欧美淫乱视频| 久艹99| 久久99久久99精品天美传媒棢·纸:. | 四虎免费视频| 91操熟妇| 91色香| 草草电影院| 热无码中文亚洲H一道本一区二区| 色y情视频免费看| 人人操人人插人www| 美國A片| 九九99精品视频在线观看| 狠狠色丁香| 啊啊啊啊视频免费| 黄总AV色图| 夜夜 中文视频rt| 国产97综合| 久久久久久九九九| 男女无套 免费网站| 亚洲美女精品九九视频| 欧美黄色手机在线观看| 好一吊区二区| 丰满人妻-区二区三区免费看| 亚洲在饯| 少妇高潮对白在线观看| 午夜久久无码1000合集| 五月天激情四射| 精品无码久久久| 97一区二压| 99超碰网| 成人精品在线免费视频| 天天色天天干天天射| 91|九色|国产熟女| 天天操女人| 大香蕉琪琪日本女优不卡| 四虎影视国产精品| 日韩熟女无码| 久久精品亚洲成a人天堂| 久操大香蕉手机视频在线看| 欧美一区二区传媒| 大香蕉2017| 88xx成人精品视频| 黄色高清无码无码破解免费暗网| 天无日色综合| 啊啊啊啊啊啊啊啊要喷了| 一二三区精品视频| 国产一级特黄大片处女| 日本一天色道久久久精品视频| 亚洲中文字幕熟女少妇一区二区| 久久久96| 亚洲 小说 欧美 激情 另类| 人人射人人操人人摸| 亚洲天堂另类美腿| 怡红院亚洲怡春院av| 九九热免费在线国产视频伊人五月| 极品极品色影院| 久久超碰亚洲人| 亚洲狠狠入| 欧美精品久久久久久久丰满| 婷婷亚洲五月***久久| 熟妇最新先锋一二三区| 麻豆精品三区视频| 男人的天堂网页| 殴美大黄片| 天天综合影院91| 青青青青青手机视频| 夜间福利片1000无码| 熟女啪啪视频| 九九综合久久| 国产偷仑| 外站AV在线| 欧亚在线视频| 婷婷15月天青娱乐| 日本人妻最新在线中| 久久艹逼视频| jiujiujiujingpin| 国产又粗又大硬免费色网视频| a在线观看| 欧美玖玖爱免费玖玖| 国产家庭乱伦表演| 欧美午夜精品久久久久久3D| 伊人久大| 天天做日日做天天欢。| 国产欧美日韩臀 | 夜夜国自区| 中文精品一区二去| 欧美色图亚洲色图成人在在线| 亚洲人妻色图| 欧美性爱系列| 99国内熟女露脸视频| 黄人人操人人操| 伊人影院在线理论播放| 花花AV导航| 久久婷婷视频| 91操熟女视频| 国产一级αv免费看片| 少妇丝袜在线观看AV| 天天摸夜夜添无码小视频| 91色黑人少妇| 免费AV中文网在线观看| 色蜜AV| 日本大香蕉综合网红本杳社区 | 九九99精品视频在线观看| 91伊人久久在线| 在线国产福利网址导航| 国产天美传媒精品| 高潮的A片激情扒开一区| 国产农村妇女精品1区二区| 中文一区二区三区影院| 淫淫总合网| 欧美激情综合网| 区日韩亚洲乱码av电影| 97色亚洲| 人人妻人人操人人乐| 中文久久| 亚洲欧美爆| 国产传媒午夜理伦精品| 1204av韩国| 尤物黄色在线观看网站| 人妻黑丝袜电影| 日本一区二区三区四区免费观看| 久久久一区二区| 欧美日韩国内不卡| 久久伊人亚洲AV无码网站| 欧美色图亚洲特色| 欧美日韩黄片精品在线| 欧美亚洲美少妇一区二区| 国产日韩区| 九一国产精品| 日本三级日本三级99| 国产农村妇女毛片精品久久| 99色| 青春草莓视频在线观看网址| 亚洲综合影视| 国产探花精品在线| 亚洲激情欧美色图 | 97超碰色屌| 欧美性爱日韩性爱| 五十路成人在线视频二区三区| 欧美成人性爱视频大全| 麻豆91熟妇人妻中文字幕茄子| 天美麻豆精品视频99| 亚洲在线网站| 麻豆国产成人精品| 偷窥自拍A片| 夜夜躁狠狠躁日日躁av| 青青草吊丝| 欧美精品xxxwww| 精品免费囯产一区二区三区| 亚洲精品久久久久久久久豆丁网| 性暴力欧美猛交在线直播| 97超碰中文字幕| 看日韩美女二区三区免费操逼视频| 欧美日韩国产成人高清| 91精品免费| 日韩精品区二区三区不卡| 国产精品第一区第一页| av 模特一区了| 口爆综合网| 国产av波波国产精品| 日日躁天天躁狠狠躁| 色狠狠综合噜一二三区| 可以在线观看AV的网站| 欧美激情区| 伊人精品视频| 九九久久99| 色哟哟AⅤ| 极品出轨视频网站| 亚熟在线| 九久9精品| 国产无码高清操逼视频| 97人人夜| 亚爽爽爽爽爽爽爽爽| 五月丁香成人网| 国产午夜在线观看视频| 国产综合久| 欧美日韩精品久久| 久久综合五月天| 国产女人和拘做爰视频| 啊啊啊好大好深| 熟女网站最新| 久久精品亚洲婷婷| 日韩欧美国产高清视频| 中文字幕精品免费一区二区| 久久99干一本高清| 欧美视频第二页| 色欧美天天| 91成人精品在线播放| 污色区网站| 天美传媒麻豆一区二区三区国产精| 天天看特黄的免费网站| 亚洲色图大香| 色噜噜人妻丝袜a∨先锋影 | 色综合20p| 久操视频免费在线观看| 韩国一级婬片A片AAAAA| 免费久久一级毛片大黄| 九九热国产| 1204人成网站色www| 久久精9| 欧洲综合视频| 超碰国产在线| 在免费jIzzjIzz在线视频| 伊人网免费视频| 玖玖综合网| 国产AV天美传媒一区二区三区 | 大香蕉乱级| 91九九| 欧美—性—交—色| 欧美激色| 日欧毛片久久| 欧美老妇女内射网址| 久久久久精| 激情综合五月天| 日韩AV熟女乱伦| a v网站在线播放| 伊人久久综合影院| 青娱乐老司机视频| 国产成人亚洲精品无| 色臀AV| 综合色区偷拍| 老熟女天天操| 国产三级中文字幕粉嫩| 四虎在线免费视频| 青青欧洲黑| 神马久久69| 少妇三P| 国产精品熟女九九九| 欧美综合加勒比在线| 啊啊啊 在线观看| 日韩三级一区 | 日本熟妇浓毛hdsex| 中文 人妻 制服| 国内精品99999| 综合亚洲网| 校园春色美腿丝袜| 亚洲少妇自拍中文字幕懂色| 超碰碰小说97| 福利大香蕉| 亚洲精品久久一区二区三区蜜桃臀| 人妻少妇色综合| 豆1无夜无码| 少妇久久久免费| 激情另类激情| 亚州综| 激情小说在线视频| 亚洲无码精品AV久久久| 国产精品不卡一区二区三区av| 人人看黄色视频| 国产精品久久久久久久AV大片 | 老熟女熟妇| 午夜福利在线视频1000| 蜜桃一区二区三区| 好爽要喷了| 亚洲少妇视频| 久久久精品网站| 国产精品4p在线观看| 黄色激情电影在线观看| 精品亚洲国产成人av网站| 8050无码八戒| 另类天堂| 欧美专区在线| 97露脸精品丝袜| 97天天在线| 天堂网亚洲区手机版| 亚洲图片另类| 人妻献身系列第54部| 国产 日韩 欧美 中文 另类,国产 欧美 另类 制服 变态,高清 日韩 欧美 中文,高 | 97色冈| 欧美中字二区| 久久久久九九九九九| 人人操人人摸超碰| 精品国产一区探花在线观看| 黑人白女精品一区| 爱做久久久久久| 欧美1727免费观看视频| 97爱亚洲综合色| 俺也射| 91少妇| 国产精品69人妻无码久久久| 国产亚洲综合欧美一区| 99久久com免费视频′| 搞中出视频在线观看| 欧美亚洲清纯| 国产美女高潮| 国产精品成人福利在线| 91婷婷| 亚洲棕合电彰| 久久精品无码不卡| 97啪啪| 久久久久久久国产a∨| 人妻嗯啊啊在线播放| 久久最新视频免费观看| 欧美啪啪天堂| 丰满人妻被猛烈进入中| 综合久久六月久久婷婷| 日韩AV电影网站| 人妻人妻天天碰| 欧美天天干| 91在线视频观看国产| 久久,精品一二三| 久噜噜| 欧美91变态| 少妇xx精品| 久久精品欧美一区蜜桃| 夜夜爽爽夜夜精品视频| 射综合网| 久久精品店| 天堂日本亚洲欧美| 激情文学亚洲| 日韩三A大片在线观看| 色九区| 老司机午夜福利视频一区二区| 后入国产| 国产浮力影院第1页| 日韩AV中文字幕电影| 欧成人在线| 无码高清国产AV| 四月丁香婷婷| 天天综合~91| 不卡av在线中文字幕| 欧美图片偷拍| 久久久九| 国产女人与拘做受视频免费| 91色艳| 麻豆色99999| 亚洲国产一区二区入口| 欧美另类色| 欧美热图99| 大香蕉久| 日本一片一区| 亚洲丝袜综合| 中字乱伦AV| 色爽——AV| 久久中文字幕一区不卡| 中文字幕一区 二区三四五 区日 日骚| 久久精品99| 日韩av不卡在线看| 日韩熟女精品无码专区一区二区 | 五月丁香| 日韩欧美~中文字| 人人操人人搞人人草| 熟妇熟女一区二三区| 青青在线视频日韩欧美| www色色com| 爱丝福利| 艹比视频国产精品| 91天美传媒在线观看| 久久久性| 黄页18禁| 国产精品香蕉| 亚洲天堂区| 久久久久久久唑| 婷婷色婷婷| 91美女视频。|