日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Kubernetes集群備份與恢復(fù)實(shí)戰(zhàn):etcd快照與Velero雙保險(xiǎn)方案

Kubernetes集群備份與恢復(fù)實(shí)戰(zhàn):etcd快照與Velero雙保險(xiǎn)方案 自打開(kāi)始正經(jīng)維護(hù) Kubernetes 集群之后我?guī)缀趺刻於紩?huì)被同一個(gè)問(wèn)題敲打如果哪天 etcd 數(shù)據(jù)盤壞了、誤刪了一個(gè) namespace或者整臺(tái) Master 節(jié)點(diǎn)被清空你到底能不能把集群拉回來(lái)我相信絕大多數(shù)人的第一反應(yīng)是有資源清單啊丟了重建不就行了。但真正經(jīng)歷過(guò)故障的人會(huì)明白這種想法在單機(jī)實(shí)驗(yàn)環(huán)境勉強(qiáng)成立放到生產(chǎn)環(huán)境里基本等于裸奔。因?yàn)榧豪锍?Deployment、Service 這些能kubectl get出來(lái)的對(duì)象還有大量的配置、密鑰、PVC 里的業(yè)務(wù)數(shù)據(jù)、CRD 資源、RBAC 授權(quán)關(guān)系這些東西一旦丟失想靠人工重建幾乎是不可能完成的任務(wù)。這篇博客就圍繞 Kubernetes 集群備份與恢復(fù)的完整配置與實(shí)踐展開(kāi)。我會(huì)從備份思路講起逐步拆解 etcd 快照和 Velero 這兩套主流方案把命令、參數(shù)、常見(jiàn)坑、恢復(fù)演練的步驟全部攤開(kāi)講。不管你是在自己搭的測(cè)試集群上做實(shí)驗(yàn)還是正在為生產(chǎn)集群設(shè)計(jì)容災(zāi)方案這篇內(nèi)容都能幫你在腦子里建立起一套清晰的備份恢復(fù)框架。先說(shuō)明一點(diǎn)本文所有操作都基于我實(shí)際在用的集群環(huán)境驗(yàn)證過(guò)但版本差異會(huì)帶來(lái)細(xì)節(jié)上的變化閱讀時(shí)請(qǐng)結(jié)合你自己的集群版本做微調(diào)。1. 備份前先把思路理清楚到底要備份什么在動(dòng)手配置任何工具之前我建議你先完成一輪“靈魂拷問(wèn)”。因?yàn)閭浞莘桨傅脑O(shè)計(jì)本質(zhì)上是對(duì)集群資產(chǎn)做分類分類做不清楚后面所有備份動(dòng)作都是盲目的。1.1 先問(wèn)自己三個(gè)關(guān)鍵問(wèn)題第一個(gè)問(wèn)題如果集群徹底無(wú)法恢復(fù)你能否在 24 小時(shí)內(nèi)重建出所有業(yè)務(wù)這里說(shuō)的業(yè)務(wù)不只是工作負(fù)載還包括它依賴的配置中心數(shù)據(jù)、數(shù)據(jù)庫(kù)內(nèi)容、消息隊(duì)列里的積壓消息、對(duì)象存儲(chǔ)桶以及 K8s 集群中的各種自定義資源。第二個(gè)問(wèn)題你的備份是否被人為驗(yàn)證過(guò)備份文件存在那里沒(méi)有任何意義只有定期做恢復(fù)演練、并且演練成功過(guò)備份才算真正有效。第三個(gè)問(wèn)題萬(wàn)一發(fā)生誤刪操作你允許的數(shù)據(jù)丟失時(shí)間窗口是多久這個(gè) RPORecovery Point Objective直接決定了你的備份頻率和備份方式。我把這些問(wèn)題拿出來(lái)說(shuō)是因?yàn)槲乙?jiàn)過(guò)太多人把備份等同于“對(duì) etcd 做一個(gè)快照”。實(shí)際上etcd 快照只覆蓋 Kubernetes 控制面存儲(chǔ)的狀態(tài)它根本不包含業(yè)務(wù)容器寫(xiě)入 PV 的數(shù)據(jù)。如果你跑的是 MySQL、Redis 這類有狀態(tài)服務(wù)PV 數(shù)據(jù)丟了etcd 再完整也只能幫你恢復(fù)出一個(gè)空殼數(shù)據(jù)庫(kù)。1.2 把資產(chǎn)拆成三個(gè)層次來(lái)看待我習(xí)慣把一個(gè)集群需要保護(hù)的資產(chǎn)分成三個(gè)層次。第一層是集群狀態(tài)層對(duì)應(yīng) etcd 中保存的幾乎所有 Kubernetes 對(duì)象包括 Deployment、Service、ConfigMap、Secret、Namespace、RBAC 規(guī)則、CRD 實(shí)例等。這一層的特點(diǎn)是數(shù)據(jù)量通常不大但變化極其頻繁任何一次kubectl apply都會(huì)改動(dòng)它。第二層是持久化數(shù)據(jù)層也就是 PV/PVC 背后真正存儲(chǔ)的業(yè)務(wù)文件、數(shù)據(jù)庫(kù)文件這一層通常由云盤、NFS、Ceph 等外部存儲(chǔ)系統(tǒng)承載Kubernetes 自身并不知道里面裝了什么。第三層是外部依賴層比如鏡像倉(cāng)庫(kù)里的鏡像、Helm Chart 倉(cāng)庫(kù)、GitOps 倉(cāng)庫(kù)里的部署清單這些資源往往不在集群內(nèi)卻是重建集群時(shí)必不可少的輸入。有了這三層視角之后你的備份策略就非常清晰了集群狀態(tài)層用 etcd 快照解決持久化數(shù)據(jù)層用 Velero 這類工具配合存儲(chǔ)驅(qū)動(dòng)解決外部依賴層則靠日常的版本管理和倉(cāng)庫(kù)鏡像同步解決。三者缺一不可。1.3 方案選型etcd 快照與 Velero 并不沖突我經(jīng)常在社區(qū)里看到有人爭(zhēng)論“備份到底該用 etcd 快照還是 Velero”這個(gè)問(wèn)題本身就問(wèn)錯(cuò)了。這兩種工具解決的不是同一個(gè)問(wèn)題放在一起使用才是一套完整的方案。etcd 快照負(fù)責(zé)兜底適合應(yīng)對(duì)集群級(jí)災(zāi)難比如 Master 節(jié)點(diǎn)不可用、etcd 數(shù)據(jù)全部損壞、誤刪了整個(gè) Namespace 且資源無(wú)法重建。Velero 負(fù)責(zé)精細(xì)化和應(yīng)用級(jí)備份適合做資源遷移、版本回滾、按命名空間恢復(fù)還能借助 restic 或 Kopia 備份 PV 數(shù)據(jù)。如果你的集群所有數(shù)據(jù)都有外部備份并且一切皆代碼那你可以只依賴 GitOps 方式重建但大多數(shù)團(tuán)隊(duì)還沒(méi)做到這個(gè)程度因此快照依然是必需品??吹竭@里你基本明白了我不是讓你二選一而是建議你用“雙保險(xiǎn)”思路搭建備份體系。后面幾節(jié)我會(huì)把兩條路線都走一遍你可以直接照抄配置。2. 動(dòng)手前的環(huán)境準(zhǔn)備與配置項(xiàng)梳理不管用 etcd 快照還是 Velero集群本身需要滿足一些最基本的條件。這一節(jié)先把環(huán)境準(zhǔn)備和核心配置項(xiàng)講清楚避免后面實(shí)操時(shí)卡在一些莫名其妙的地方。2.1 確認(rèn)集群部署方式與 etcd 形態(tài)首先要確認(rèn)你的 etcd 是怎么部署的。不同集群形態(tài)會(huì)導(dǎo)致 etcd 的訪問(wèn)方式完全不同這一點(diǎn)是新手最容易栽跟頭的地方。kubeadm 部署的集群etcd 以靜態(tài) Pod 方式運(yùn)行在 Master 節(jié)點(diǎn)上通過(guò)/etc/kubernetes/manifests/etcd.yaml定義證書(shū)和配置集中在/etc/kubernetes/pki/etcd/目錄。二進(jìn)制方式部署的集群etcd 通常以 systemd 服務(wù)運(yùn)行數(shù)據(jù)目錄、證書(shū)路徑、監(jiān)聽(tīng)地址全部由你自定義快照時(shí)需要手動(dòng)拼接參數(shù)。云廠商托管的集群如 EKS、ACK、TKE控制面 etcd 基本由云廠商管理用戶無(wú)法直接接觸此時(shí)你更需要依賴 Velero 或云廠商自帶的集群快照能力做應(yīng)用級(jí)備份。定位好你自己的集群形態(tài)后面的命令才能跑通。我下面的實(shí)踐示例基于 kubeadm 部署的集群來(lái)展開(kāi)這也是社區(qū)里最常見(jiàn)的自建集群方式。2.2 為備份賬號(hào)準(zhǔn)備必要的權(quán)限配置如果你要用 Velero它需要一個(gè)專用的服務(wù)賬號(hào)并且這個(gè)賬號(hào)需要有足夠權(quán)限讀取集群中的所有資源。Velero 安裝時(shí)默認(rèn)會(huì)創(chuàng)建velero命名空間并部署一組 RBAC 規(guī)則正常情況下不用手動(dòng)造輪子。但有一點(diǎn)容易忽略當(dāng)你計(jì)劃備份自定義資源CRD時(shí)需要確保 Velero 的服務(wù)賬號(hào)對(duì)相關(guān) CRD 有 get、list、watch 權(quán)限。如果某天你發(fā)現(xiàn)備份任務(wù)顯示成功但恢復(fù)后 CRD 實(shí)例丟了優(yōu)先檢查是不是權(quán)限不足導(dǎo)致 Velero 無(wú)法枚舉資源。這里給出一個(gè)排查用的最小 RBAC 配置它授予了備份操作所需的粗粒度權(quán)限。如果你對(duì)安全要求比較高建議按需收縮到具體資源apiVersion: v1 kind: ServiceAccount metadata: name: velero namespace: velero --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: velero-admin roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: cluster-admin subjects: - kind: ServiceAccount name: velero namespace: velero這個(gè)配置看起來(lái)比較粗暴但它能保證 Velero 不會(huì)因?yàn)闄?quán)限問(wèn)題而跳過(guò)資源。生產(chǎn)環(huán)境建議結(jié)合 Velero 官方文檔中的 RBAC 模板做進(jìn)一步裁剪。2.3 準(zhǔn)備一套獨(dú)立的對(duì)象存儲(chǔ)用于存放備份Velero 的備份文件需要落到對(duì)象存儲(chǔ)中。如果你已經(jīng)在用 AWS S3、阿里云 OSS、MinIO 這類兼容 S3 協(xié)議的服務(wù)那可以直接復(fù)用。如果還沒(méi)有我強(qiáng)烈建議你在內(nèi)網(wǎng)部署一個(gè) MinIO專門用于存放備份。它的部署非常簡(jiǎn)單單機(jī)版用 Docker 幾分鐘就能跑起來(lái)。用 MinIO 主要是為了兩個(gè)目的一是讓備份文件集中管理不會(huì)被隨意清理二是 Velero 官方對(duì) S3 API 的兼容性很好選它省去很多兼容性適配的麻煩。存儲(chǔ)桶創(chuàng)建好后記錄下 endpoint 地址、access key、secret key后面配置 Velero 時(shí)要用到。下面是我的 MinIO 初始化命令示例實(shí)際使用時(shí)請(qǐng)?zhí)鎿Q成你自己的賬號(hào)密碼docker run -d \ --name minio \ -p 9000:9000 \ -p 9001:9001 \ -e MINIO_ROOT_USERvelero_backup \ -e MINIO_ROOT_PASSWORDYourStrongPass2026 \ -v /data/minio:/data \ minio/minio server /data --console-address :9001啟動(dòng)后到控制臺(tái)創(chuàng)建一個(gè)名為velero-backup的 bucket并且建議開(kāi)啟版本控制。原因很簡(jiǎn)單版本控制能防止備份對(duì)象被誤刪或覆蓋相當(dāng)于給備份又加了一層保險(xiǎn)。3. etcd 快照備份與恢復(fù)的完整實(shí)踐etcd 快照是整個(gè)集群備份體系的第一塊基石也是恢復(fù)集群控制面數(shù)據(jù)的終極手段。我不敢說(shuō)它難但操作過(guò)程中稍有不慎就會(huì)造成數(shù)據(jù)不一致所以接下來(lái)我會(huì)把每一步拆得很細(xì)。3.1 配置 etcd 客戶端證書(shū)環(huán)境變量使用etcdctl做快照通常需要 TLS 證書(shū)認(rèn)證。kubeadm 部署的集群中etcd 證書(shū)位于 Master 節(jié)點(diǎn)的/etc/kubernetes/pki/etcd/目錄你需要在執(zhí)行命令前導(dǎo)出環(huán)境變量否則會(huì)提示證書(shū)校驗(yàn)失敗。我的做法是先把以下內(nèi)容寫(xiě)到/etc/profile.d/etcdctl.sh中簡(jiǎn)化后續(xù)操作export ETCDCTL_API3 export ETCDCTL_CACERT/etc/kubernetes/pki/etcd/ca.crt export ETCDCTL_CERT/etc/kubernetes/pki/etcd/server.crt export ETCDCTL_KEY/etc/kubernetes/pki/etcd/server.key export ETCDCTL_ENDPOINTShttps://127.0.0.1:2379關(guān)于證書(shū)文件有一個(gè)細(xì)節(jié)值得說(shuō)明server.crt和server.key是 etcd 服務(wù)端證書(shū)用于 etcd 各成員之間通信同時(shí)也被 etcdctl 作為客戶端證書(shū)使用。如果你在某個(gè)節(jié)點(diǎn)上找不到server.*文件也可以嘗試用peer.crt和peer.key替代但首選仍是 server 證書(shū)。執(zhí)行source /etc/profile.d/etcdctl.sh后可用一條簡(jiǎn)單的etcdctl endpoint health命令驗(yàn)證連接是否正常。3.2 執(zhí)行手動(dòng)快照與定時(shí)備份完成認(rèn)證配置后做一次手動(dòng)快照就非常簡(jiǎn)單了mkdir -p /backup/etcd etcdctl snapshot save /backup/etcd/snapshot-$(date %Y%m%d-%H%M%S).db執(zhí)行成功后會(huì)輸出類似Snapshot saved at /backup/etcd/snapshot-xxxx.db的信息。此時(shí)你可以用校驗(yàn)命令確認(rèn)快照文件沒(méi)有損壞etcdctl snapshot status /backup/etcd/snapshot-xxxx.db該命令會(huì)返回快照的版本、數(shù)據(jù)大小、hash 值等信息。我每次做完快照都會(huì)順手跑一次這條命令它雖然不能百分百保證恢復(fù)成功但至少能從哈希層面排除文件在落盤過(guò)程中出現(xiàn)損壞的可能。手動(dòng)快照只能救急不能作為常態(tài)化機(jī)制。更合理的做法是寫(xiě)一個(gè)定時(shí)任務(wù)腳本每天在業(yè)務(wù)低峰期自動(dòng)執(zhí)行快照并清理三天前的舊文件。下面是我實(shí)際在用的腳本你拿走改成自己的備份目錄就能用#!/bin/bash BACKUP_DIR/backup/etcd RETENTION_DAYS3 source /etc/profile.d/etcdctl.sh mkdir -p ${BACKUP_DIR} etcdctl snapshot save ${BACKUP_DIR}/snapshot-$(date %Y%m%d-%H%M%S).db find ${BACKUP_DIR} -name snapshot-*.db -mtime ${RETENTION_DAYS} -exec rm -f {} \;用crontab -e添加定時(shí)任務(wù)以每天凌晨 2 點(diǎn)執(zhí)行為例0 2 * * * /opt/scripts/etcd-backup.sh /var/log/etcd-backup.log 21關(guān)于快照保留周期我建議根據(jù)自己的數(shù)據(jù)量決定。etcd 快照文件一般不會(huì)很大幾百 MB 到幾個(gè) GB 都很常見(jiàn)所以你完全可以把保留周期設(shè)置得長(zhǎng)一些比如保留 7 份每日快照外加每周快照。丟失數(shù)據(jù)這件事寧可多留不可少留。3.3 恢復(fù)實(shí)操?gòu)目煺者€原到單機(jī)集群恢復(fù) etcd 是整個(gè)集群恢復(fù)流程中最容易手忙腳亂的部分因?yàn)槟阈枰岩粋€(gè)“已經(jīng)存在的故障集群”先停下來(lái)再手動(dòng)去重建數(shù)據(jù)目錄。這里強(qiáng)調(diào)一下恢復(fù)操作必須在所有 etcd 節(jié)點(diǎn)上協(xié)調(diào)進(jìn)行不建議只對(duì)單節(jié)點(diǎn)操作而讓其他節(jié)點(diǎn)繼續(xù)運(yùn)行。下面以單節(jié)點(diǎn) etcd 為例展開(kāi)。第一步停掉 kube-apiserver 和 etcd。如果是靜態(tài) Pod 方式部署最直接的做法是把/etc/kubernetes/manifests/下的etcd.yaml移走并用kubelet的靜態(tài) Pod 機(jī)制讓它自動(dòng)停掉。但更穩(wěn)妥的順序是先把 apiserver 停掉避免 apiserver 在 etcd 恢復(fù)期間不斷寫(xiě)入數(shù)據(jù)導(dǎo)致快照還原后的數(shù)據(jù)被再次污染。mv /etc/kubernetes/manifests/etcd.yaml /root/backup-manifests/ mv /etc/kubernetes/manifests/kube-apiserver.yaml /root/backup-manifests/ sleep 30第二步備份并清空舊的 etcd 數(shù)據(jù)目錄。默認(rèn)數(shù)據(jù)目錄是/var/lib/etcd我建議先把它整個(gè)移動(dòng)到一個(gè)備份位置而不是直接刪除防止恢復(fù)失敗時(shí)還有后悔藥可吃mv /var/lib/etcd /var/lib/etcd.bak.$(date %Y%m%d)第三步用快照文件恢復(fù)數(shù)據(jù)目錄。etcdctl 的snapshot restore命令會(huì)生成一個(gè)新的數(shù)據(jù)目錄你需要通過(guò)--data-dir參數(shù)指定位置并傳入與舊集群一致的名稱和證書(shū)參數(shù)etcdctl snapshot restore /backup/etcd/snapshot-xxxx.db \ --name etcd-1 \ --initial-cluster etcd-1https://127.0.0.1:2380 \ --initial-cluster-token etcd-cluster \ --initial-advertise-peer-urls https://127.0.0.1:2380 \ --data-dir /var/lib/etcd這里有一個(gè)關(guān)鍵點(diǎn)--initial-cluster-token的值必須和原來(lái)的集群保持一致或者干脆隨意指定一個(gè)全新值。后者其實(shí)更常見(jiàn)因?yàn)槟阍谧龌謴?fù)時(shí)通常是想啟動(dòng)一個(gè)全新的 etcd 數(shù)據(jù)實(shí)例。但如果你希望恢復(fù)后的 etcd 能重新加入原有集群拓?fù)淠蔷捅仨毐3?peer URL 與集群配置一致否則其他節(jié)點(diǎn)會(huì)認(rèn)為這是一個(gè)陌生成員。第四步把etcd.yaml和kube-apiserver.yaml移回靜態(tài) Pod 目錄等待 kubelet 自動(dòng)拉起 etcd 和 apiservermv /root/backup-manifests/etcd.yaml /etc/kubernetes/manifests/ mv /root/backup-manifests/kube-apiserver.yaml /etc/kubernetes/manifests/ sleep 60最后驗(yàn)證集群狀態(tài)kubectl get nodes kubectl get pods -A如果看到 Node 狀態(tài)正常、之前的資源都回來(lái)了說(shuō)明恢復(fù)成功。如果 apiserver 啟動(dòng)失敗先去看 kubelet 日志和 etcd 日志絕大多數(shù)問(wèn)題出在證書(shū)路徑不匹配或數(shù)據(jù)目錄權(quán)限不對(duì)上。3.4 恢復(fù)操作中的風(fēng)險(xiǎn)控制與注意事項(xiàng)關(guān)于 etcd 恢復(fù)我吃過(guò)不少虧挑幾個(gè)最典型的提醒一下。第一恢復(fù)操作前必須停止所有寫(xiě)入方。不只是 kube-apiserver如果集群里還有其他組件直接通過(guò) etcd 客戶端接口讀寫(xiě)數(shù)據(jù)比如某些定制 Operator也要一并停止。否則很可能出現(xiàn)恢復(fù)后一部分舊數(shù)據(jù)被新數(shù)據(jù)覆蓋或沖突的情況表現(xiàn)為資源狀態(tài)詭異、對(duì)象反復(fù)重建。第二不要在生產(chǎn)集群上邊跑業(yè)務(wù)邊恢復(fù)。即便恢復(fù)的是單節(jié)點(diǎn) etcd也強(qiáng)烈建議先摘掉業(yè)務(wù)流量因?yàn)榛謴?fù)過(guò)程中 kubelet 可能會(huì)根據(jù)舊數(shù)據(jù)重新創(chuàng)建 Pod造成未知影響。第三etcd 快照不保證包含最近幾秒的寫(xiě)入。etcd 的 snapshot 是某一時(shí)間點(diǎn)的存儲(chǔ)狀態(tài)自快照時(shí)間點(diǎn)之后發(fā)生的變更都會(huì)丟失。這決定了你的 RPO 不可能為零如果你的業(yè)務(wù)對(duì)數(shù)據(jù)極其敏感需要在上層做更細(xì)粒度的備份或同步。4. Velero 應(yīng)用級(jí)備份與恢復(fù)實(shí)操etcd 快照能保住控制面但它無(wú)法備份 PVC 里的數(shù)據(jù)。所以當(dāng)業(yè)務(wù)真正跑起來(lái)之后它用的數(shù)據(jù)庫(kù)文件、上傳的文件、生成的臨時(shí)數(shù)據(jù)全都在 PV 里面這時(shí)候必須請(qǐng)出 Velero。4.1 Velero 的核心架構(gòu)與備份原理Velero 的工作機(jī)制可以簡(jiǎn)單概括為兩部分一方面通過(guò) Kubernetes API 讀取集群中的資源對(duì)象打包后上傳到對(duì)象存儲(chǔ)另一方面通過(guò)文件系統(tǒng)備份組件如 restic 或 Kopia讀取 PVC 掛載的數(shù)據(jù)卷內(nèi)容將其一并上傳。它不需要在集群里安裝特權(quán) DaemonSet 之外的 agent備份動(dòng)作由 Velero Server 組件部署在集群內(nèi)和 Velero CLI 客戶端協(xié)同完成。CLI 下發(fā)備份指令后Velero Server 會(huì)在集群中創(chuàng)建 Backup 資源隨后 Backup Controller 負(fù)責(zé)執(zhí)行具體任務(wù)。你在使用過(guò)程中會(huì)經(jīng)??吹?Backup、Restore、Schedule、BackupStorageLocation 這幾類 CRD它們都是 Velero 的核心抽象。理解它們的層級(jí)關(guān)系對(duì)排查問(wèn)題很有幫助BackupStorageLocation 定義備份文件存放位置Schedule 定義周期巡檢任務(wù)Backup 是一次具體備份動(dòng)作的記錄Restore 是一次恢復(fù)動(dòng)作的記錄??慈罩緯r(shí)只需要找到對(duì)應(yīng) Backup 或 Restore 資源然后通過(guò)velero backup logs name查看詳細(xì)日志即可。4.2 安裝 Velero 并配置對(duì)象存儲(chǔ)安裝 Velero 的工具本身并不復(fù)雜核心是把云廠商存儲(chǔ)的訪問(wèn)憑證準(zhǔn)備好。以 MinIO 為例首先創(chuàng)建一個(gè)包含訪問(wèn)密鑰的文件cat credentials-velero EOF [default] aws_access_key_id velero_backup aws_secret_access_key YourStrongPass2026 EOF然后執(zhí)行安裝命令velero install \ --provider aws \ --plugins velero/velero-plugin-for-aws:v1.9.0 \ --bucket velero-backup \ --secret-file ./credentials-velero \ --backup-location-config regionminio,s3ForcePathStyletrue,s3Urlhttp://minio.velero.svc.cluster.local:9000 \ --snapshot-location-config regionminio \ --use-restic \ --use-volume-snapshotsfalse \ --wait拆解一下這條命令中幾個(gè)容易出錯(cuò)的參數(shù)--provider aws這里不是說(shuō)你必須用 AWS而是 Velero 用 AWS S3 兼容協(xié)議去對(duì)接對(duì)象存儲(chǔ)MinIO、OSS、COS 都支持這種協(xié)議。--plugins velero/velero-plugin-for-aws:v1.9.0插件版本要和 Velero 主版本接近否則可能出現(xiàn) API 不兼容的問(wèn)題。s3ForcePathStyletrueMinIO 這類私有對(duì)象存儲(chǔ)要求路徑風(fēng)格 URL不加這個(gè)參數(shù)會(huì)導(dǎo)致 Velero 無(wú)法找到桶。--use-restic啟用文件系統(tǒng)備份能力用來(lái)備份 PVC 數(shù)據(jù)。--use-volume-snapshotsfalse如果存儲(chǔ)后端沒(méi)有實(shí)現(xiàn) CSI 快照能力就關(guān)掉卷快照功能避免 Velero 一直嘗試調(diào)用不存在的快照接口。安裝完成后查看 velero 命名空間下的 Pod 狀態(tài)確保velero和restic相關(guān) Pod 都正常運(yùn)行kubectl get pods -n velero4.3 按命名空間備份先從小范圍開(kāi)始Velero 上手最好的方式不是一上來(lái)就全集群備份而是先挑一個(gè)測(cè)試命名空間做驗(yàn)證。比如我需要備份wordpress命名空間下的所有資源以及 PVC 數(shù)據(jù)可以執(zhí)行velero backup create wordpress-backup \ --include-namespaces wordpress \ --default-volumes-to-restic \ --ttl 168h0m0s參數(shù)說(shuō)明--include-namespaces只備份指定命名空間。--default-volumes-to-restic對(duì) PVC 數(shù)據(jù)啟用 restic 備份。--ttl備份文件在對(duì)象存儲(chǔ)中的保留時(shí)間這里設(shè)置了 7 天。執(zhí)行后可能會(huì)等待一段時(shí)間你可以用velero backup get查看狀態(tài)從 New 變成 Completed 就說(shuō)明備份成功了。然后模擬一次災(zāi)難直接刪掉wordpress命名空間kubectl delete namespace wordpress等命名空間完全清理干凈后執(zhí)行恢復(fù)velero restore create --from-backup wordpress-backup恢復(fù)完成后進(jìn)入命名空間檢查資源確認(rèn) Pod、PVC、Service、Ingress 都回來(lái)了。如果 PVC 里的數(shù)據(jù)文件已經(jīng)通過(guò) restic 重新灌入新恢復(fù)的 PV 中那業(yè)務(wù)一般能無(wú)縫拉起。4.4 整個(gè)集群與全量備份策略如果你想把整個(gè)集群的所有資源都備份起來(lái)需要更加謹(jǐn)慎。我先提醒一句全集群備份并備份 PVC 數(shù)據(jù)是代價(jià)最大的方案耗時(shí)和存儲(chǔ)成本都不可小覷所以不要?jiǎng)硬粍?dòng)就跑全量備份。Velero 默認(rèn)在velero backup create時(shí)如果不加任何篩選參數(shù)實(shí)際上就已經(jīng)備份了所有非系統(tǒng)命名空間的資源。但要注意它默認(rèn)不會(huì)備份velero、kube-system、kube-public、kube-node-lease這些系統(tǒng)級(jí)命名空間。這樣設(shè)計(jì)是合理的因?yàn)檫@些命名空間里的組件大多可以通過(guò)重建或重新安裝還原備份它們意義不大。設(shè)置了清理系統(tǒng)命名空間后如果需要做“全集群模擬恢復(fù)驗(yàn)證”可以用以下命令初始化一個(gè) full backup 作業(yè)把白名單和黑名單調(diào)整清楚velero backup create full-backup \ --exclude-namespaces kube-system,kube-public,kube-node-lease,velero \ --exclude-resources events,events.events.k8s.io \ --default-volumes-to-restic \ --ttl 336h0m0s排除了 events 的原因是事件數(shù)據(jù)通常量大且無(wú)恢復(fù)價(jià)值既浪費(fèi)時(shí)間又浪費(fèi)存儲(chǔ)空間。實(shí)際需求中你再結(jié)合是否要排除一些臨時(shí)緩存類資源根據(jù)業(yè)務(wù)情況調(diào)整。4.5 跨集群遷移Velero 的高階玩法Velero 備份文件存儲(chǔ)在對(duì)象存儲(chǔ)里這意味著它天然支持跨集群恢復(fù)。假如你有 A、B 兩個(gè)集群對(duì)象存儲(chǔ)是同一個(gè) MinIO那么在 A 集群做好備份后到 B 集群執(zhí)行一條恢復(fù)命令就能完成資源遷移。我在做環(huán)境遷移時(shí)常用一套組合拳A 集群創(chuàng)建備份B 集群配置相同的 BackupStorageLocation 和 credentials然后執(zhí)行恢復(fù)。步驟上你先要在 B 集群上安裝 Velero使用同樣的 MinIO 配置參數(shù)velero install \ --provider aws \ --plugins velero/velero-plugin-for-aws:v1.9.0 \ --bucket velero-backup \ --secret-file ./credentials-velero \ --backup-location-config regionminio,s3ForcePathStyletrue,s3Urlhttp://minio.velero.svc.cluster.local:9000 \ --snapshot-location-config regionminio \ --wait然后你要保證 B 集群能夠讀到一個(gè)備份名。執(zhí)行velero backup get看到 A 集群創(chuàng)建的那個(gè)備份名稱后直接執(zhí)行恢復(fù)即可。如果目標(biāo)集群中沒(méi)有對(duì)應(yīng)的 StorageClass 或不支持同樣的存儲(chǔ)協(xié)議PVC 可能會(huì)恢復(fù)失敗。此時(shí)可以通過(guò) Velero 的存儲(chǔ)類映射功能在恢復(fù)時(shí)把源存儲(chǔ)類替換為目標(biāo)集群的存儲(chǔ)類。5. 自動(dòng)化定時(shí)備份與恢復(fù)演練經(jīng)驗(yàn)手動(dòng)備份能保一時(shí)備份體系的真正價(jià)值在于自動(dòng)化。一個(gè)無(wú)法自動(dòng)運(yùn)行的備份機(jī)制最終一定會(huì)被日常工作節(jié)奏擠掉。5.1 使用 Velero Schedule 實(shí)現(xiàn)定時(shí)備份Velero 內(nèi)置了 Schedule 概念創(chuàng)建它之后Velero 會(huì)按照 Cron 表達(dá)式周期性地生成新的 Backup。它的最大優(yōu)點(diǎn)是把備份動(dòng)作納入了集群內(nèi)部狀態(tài)管理你隨時(shí)可以通過(guò) CRD 查看備份計(jì)劃。創(chuàng)建每日全量備份計(jì)劃保留 7 天命令如下velero schedule create daily-full-backup \ --schedule0 2 * * * \ --include-namespaces wordpress,default \ --default-volumes-to-restic \ --ttl 168h0m0s你可以用velero schedule get查看調(diào)度計(jì)劃狀態(tài)用velero backup get查看它自動(dòng)觸發(fā)的 Backup 是否成功。如果其中一個(gè) Backup 失敗了Schedule 會(huì)繼續(xù)保留并不會(huì)影響下一次觸發(fā)。這種解耦設(shè)計(jì)很實(shí)用至少我不會(huì)因?yàn)橐淮问《┑艉罄m(xù)備份。關(guān)于 Cron 表達(dá)式我建議結(jié)合業(yè)務(wù)低谷期來(lái)設(shè)置。如果集群和對(duì)象存儲(chǔ)都相對(duì)空閑凌晨 2 點(diǎn)到 4 點(diǎn)之間跑備份是比較通用的選擇。如果備份數(shù)據(jù)量很大可能單次執(zhí)行超過(guò) 30 分鐘你還要注意 Schedule 的時(shí)間窗口不能與下一次調(diào)度重疊否則會(huì)形成備份任務(wù)堆積。5.2 對(duì)象存儲(chǔ)側(cè)的備份生命周期管理備份文件生成之后對(duì)象存儲(chǔ)側(cè)同樣要有生命周期管理規(guī)則。MinIO 提供了生命周期配置可以為 bucket 配置過(guò)期刪除規(guī)則所以 Velero 里的--ttl并不是唯一的清理機(jī)制。我的建議是兩側(cè)都設(shè)但以 Velero 的 ttl 為主MinIO 生命周期為輔。假設(shè) Velero 設(shè)置了 7 天 TTLMinIO 生命周期規(guī)則設(shè)置為 10 天過(guò)期這樣能有效防止因 Velero 控制器異常導(dǎo)致備份文件無(wú)限堆積。配置 CapEx 時(shí)應(yīng)考慮到存儲(chǔ)成本不要把周期設(shè)得太長(zhǎng)也不要設(shè)得太短。比較穩(wěn)妥的做法是“本地 7 天 異地副本 30 天”這部分需要根據(jù)你公司對(duì)數(shù)據(jù)安全的要求調(diào)整。5.3 每季度做一次真實(shí)的恢復(fù)演練我沒(méi)見(jiàn)過(guò)哪個(gè)團(tuán)隊(duì)的備份策略是第一次就能做完美的。真正的分水嶺在于是否做了恢復(fù)演練而且不是演練一次就結(jié)束是每季度或半年固定做一次。我自己的做法是準(zhǔn)備一個(gè)獨(dú)立的演練集群這個(gè)集群規(guī)模不需要很大但安裝的 K8s 版本和插件配置盡量與生產(chǎn)一致。然后我每個(gè)月從對(duì)象存儲(chǔ)中隨機(jī)挑一個(gè)備份把資源恢復(fù)到演練集群再驗(yàn)證幾個(gè)核心業(yè)務(wù)是否能正常工作。曾有一次演練暴露過(guò)大問(wèn)題一切資源恢復(fù)成功但業(yè)務(wù)無(wú)法啟動(dòng)原因是 Secret 中的密碼在源集群里已經(jīng)輪換過(guò)而 ConfigMap 中引用的配置仍舊是舊值。如果沒(méi)做演練等真實(shí)災(zāi)難發(fā)生時(shí)這個(gè)問(wèn)題會(huì)變成生產(chǎn)事故的原因。所以我說(shuō)演練不是額外負(fù)擔(dān)它是備份體系中最有價(jià)值的一環(huán)。6. 常見(jiàn)故障與排查技巧備份恢復(fù)大概率不是一次就能順利跑通的。我把這兩年遇到的高頻問(wèn)題整理成了一張速查表供你定位問(wèn)題。癥狀可能原因解決方案etcdctl snapshot save 報(bào)證書(shū)錯(cuò)誤未正確加載 ETCDCTL_CERT / ETCDCTL_KEY 環(huán)境變量重新 source 環(huán)境變量文件檢查證書(shū)路徑etcd snapshot restore 后 apiserver 起不來(lái)數(shù)據(jù)目錄權(quán)限不對(duì)或新舊集群 token 不一致確認(rèn)/var/lib/etcd屬主為 etcd 用戶檢查 apiserver 日志Velero backup 狀態(tài)一直停留在 NewBackupStorageLocation 無(wú)效或插件版本不匹配查看 velero 日志檢查存儲(chǔ)桶是否可訪問(wèn)Velero 備份完成但恢復(fù)后 PVC 為空沒(méi)有啟用 restic / 卷快照被顯式關(guān)閉恢復(fù)動(dòng)作加上--default-volumes-to-restic并確認(rèn) restic Pod 運(yùn)行恢復(fù)時(shí)提示 storageclass 不存在目標(biāo)集群缺少源集群的 StorageClass創(chuàng)建同名 StorageClass或用--storage-class-mapping參數(shù)做替換定時(shí)備份連續(xù)失敗但你完全沒(méi)發(fā)現(xiàn)缺少失敗告警機(jī)制為 Velero 配置監(jiān)控告警或檢查日志工具備份文件在 MinIO 中被誤刪bucket 沒(méi)有開(kāi)啟版本控制開(kāi)啟 bucket 版本控制并配置生命周期規(guī)則除了表格里的問(wèn)題我再補(bǔ)充三個(gè)比較隱秘但很重要的經(jīng)驗(yàn)。第一Velero 備份過(guò)程中如果集群正在發(fā)生大量資源變更可能出現(xiàn)部分資源處于中間狀態(tài)導(dǎo)致恢復(fù)回來(lái)后資源版本沖突或字段不完整。對(duì)于核心數(shù)據(jù)庫(kù)這類服務(wù)我建議備份前先將應(yīng)用置于只讀或停寫(xiě)狀態(tài)至少也要接受 PVC 數(shù)據(jù)本身的一致性由應(yīng)用層保證。第二restic 備份模式對(duì) PVC 數(shù)據(jù)的備份速度較慢。如果 PVC 體積達(dá)到 TB 級(jí)別全量備份耗時(shí)可能數(shù)小時(shí)。這時(shí)候需要考慮文件系統(tǒng)層面的定期快照比如云廠商磁盤快照或數(shù)據(jù)庫(kù)自身備份工具而不是一味依賴 Velero 的每個(gè)卷備份。第三恢復(fù)時(shí)注意資源間的依賴順序。Velero 會(huì)盡力做依賴排序但有些自定義資源需要先創(chuàng)建 CRD再創(chuàng)建 CRD 實(shí)例。如果恢復(fù)后自定義資源沒(méi)有正常出現(xiàn)優(yōu)先檢查 CRD 是否已經(jīng)注冊(cè)必要時(shí)手動(dòng)應(yīng)用 CRD 定義。還有一個(gè)小技巧恢復(fù)前把目標(biāo)集群的命名空間先清空或者使用一個(gè)新的命名空間做恢復(fù)驗(yàn)證避免與現(xiàn)有資源產(chǎn)生沖突。這個(gè)操作能幫你把問(wèn)題邊界縮小少在環(huán)境干擾上浪費(fèi)時(shí)間。說(shuō)一個(gè)我印象最深的教訓(xùn)。某次我把 etcd 快照恢復(fù)做完了節(jié)點(diǎn)全部 ReadyPod 也全部 Running表面上一切完美。結(jié)果第二天業(yè)務(wù)反饋數(shù)據(jù)缺失一查發(fā)現(xiàn)備份時(shí)間點(diǎn)在業(yè)務(wù)高峰期前一小時(shí)隨后一小時(shí)內(nèi)的寫(xiě)入全部丟掉了。從此以后我在設(shè)計(jì)備份策略時(shí)都會(huì)先問(wèn)一句業(yè)務(wù)能否接受這個(gè) RPO如果能承受小時(shí)級(jí)丟失則每日備份足夠如果不能那就需要借助數(shù)據(jù)庫(kù)層的 binlog 同步或存儲(chǔ)層的實(shí)時(shí)快照來(lái)縮短丟失窗口。備份恢復(fù)這件事看起來(lái)只是幾條命令但真正把它做扎實(shí)需要你對(duì)集群的部署形態(tài)、業(yè)務(wù)的數(shù)據(jù)特性、存儲(chǔ)后端的接口能力都有清晰認(rèn)知。希望這篇基于配置與實(shí)踐的梳理能讓你在構(gòu)建自己的備份方案時(shí)少走一些彎路。下一次遇到故障時(shí)希望你想到的不是后悔沒(méi)備份而是從容地執(zhí)行演練過(guò)無(wú)數(shù)遍的恢復(fù)流程。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久久性| 亚洲囯产精品女人久久久| 国产美女精品| 日本超碰在线国产一区| 日本三级网页| 女同女同恋久久级三级| 欧美成年人性爱视频免费观看| 一区二区亚州激情久婷婷欧美| 国产精品肉丝自拍| 26uuu国产| 欧美国产欧美在线观看| 日韩小电影| 变态另类专区| 中文字幕av一区二区三区人妻少妇 | 超碰97护士| 国外91| 不卡免费av在线播放| 国产精品人妻一区二区| 久久国产热视频97电影| 国内三级自拍小视频在线观看| www.99中文字幕| 亚洲 欧美 制服 另类 自拍| 日韩三级视频一区二区三区| 少妇综合网| 六十路日本| 91久久久老司机| 中文字幕精品区先锋资源| 欧美一区二区| 不卡人妻少妇精品毛片一区23区视频| 家庭乱伦国产精品| 九九九九97| 第一高清av中文字幕| 韩日男人的天堂| 欧美日韩性爱无码| 97色97干| 欧美美女视频| 色九九综合AV| 亚洲五月丁香花狠狠干一区二区三区| 国产9l 大屁股| 国产超碰在线一区| 乱精品一区字幕二区| 欧美一二三级精品在线| 人人摸人人舔一区二区| 青青草色情网站视频| 五月丁香综合网| 午夜无码精品免费看性色| 久久久久夜夜夜夜| 鸥美插入视频| 亚洲 图片 综合91| 国产在线激情视频| 国产中出内射一区二区| 精品二区三四区五电影 | 五月激情小说| 天天色粽合合合合合合合| 亚洲蜜乳av| 日本二三四区| 日韩精品9区| 成 人 影视 一区 二区 三区 四区| 人妻熟女av国产网站| 国产三级在线现体验区| 爱逼综合| 美国日韩黄片| 影音先锋每日最新资源在线观看| 国产91亚洲精品一区二区三区| 99精品无码| 久久久99999久网站| 国产精品九9| 91蜜臀熟女| 激情五月激情综合网| 视频国产欧美在线播放| 大象AV在线| 天天色图| 成人精品一区二区91毛片不卡| 久久在线观看免费视频| 两女互慰AV高潮喷水在线观看| 欧美亚洲情色| 明星性猛交ⅹxxx乱大交| 日夜伊人网| 亚洲精品日韩国产欧美| 日韩三级伦理中文字幕| 亚洲黄色视频在线观看视频| 亚洲 小说 欧美 激情 另类| 亚州色阁| 九九九久久久久| 一区操逼日比视频| 日韩精品在线视频在线观看| 乱伦1色页| 精品国产丝袜一区二区三区乱码 | 加勒比综合| 九九九成人| 青娱乐妇女性生活| 高清国产性猛交xxxx乱大交| 秋霞一级视频在线观看免费| 一级特级aaaa毛片免费观看| 91日本在线观看| 天天操天天插| 国产视频大全| 亚洲成a人v欧美综合天堂下载| 欧美在线播放| 天天躁日日躁AAA片李宗瑞| www.色五月| 97超碰天天爱天天爱| 加勒比色综合| 91色狼| 1禁看欧美黄片免费看| 日本一本一区二区三区四区五区欧美日韩中文字幕| 久久性爱免费送| 淫色网综合| 夜夜青青无码影院| 欧美一区二区三区不卡高清视频| 日韩一级欧美一级国产一级台湾| 六十路日本| 日本五十路在线| 亚洲国产精品无石码久久| 色偷综合| 日本不卡五区| 亚洲色图大香| 成年在线视频日本亚洲在线视频区精品江靖宇公司 | 狠狠色噜噜狠狠狠狠狠色综合久久| 婷婷情色综合网| 精品无码少妇| 日韩一区二区三区四区五区| 国产精品天干天干综合网麻豆| 蜜臀久久久99久久久久 | 中国黄色特级精品一区二区三区片| 超碰色综合| 日本色色的视频| 亚洲综合骚逼| 欧美黄片免费在线观看视频| 久久久久久91香蕉国产| 人妻偷拍一区二区三区| 色欧美天天| 又黄又硬又粗又长国产视频| 中文字幕一区二区三区高清| 人妻在线大香蕉| 亚洲天天做日日做天天谢日日 | 久久综合97| 国模少妇一区二区三区| 走光一区92下载| 成人精品久久久午夜福利| 人妻AV 中文字幕的| 久久久久久免费电影| 国产三区免费在线观看| 嗯嗯啊啊好大好爽| 精品在线观看视频在线| 亚洲激情在线| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 91成人国产综合久久精品蜜月| 久久伊人最新网址视频| 色噜噜综合在线| 一区二区不卡免费| 偷窥自拍亚洲天堂网爆| 欧美一级A一级a爱片久久| 久久欧美按摩999| 三男一女不戴套的A片| 五月激情天| 偷拍亚洲情色| 中文字幕二区日韩天堂| 岛国激情视频在线观看| 青青草综合在线| 久久草大香蕉| 久久亚洲国产成人| 国产白丝网站| 亚洲欧美精品久| 91色色色| 草莓精品视频在线免费观看| 97人人爱人人乐| 91女在线观看| 免费的黄片wwwwww| 97久久超碰国产精品| AV天堂电影网| 亚洲色宗合| 亚洲AO在线| 人妻中文字幕日韩电影| 超清福利精品视频在线| 亚州精品人妻一二三区| 青青草在线视频人人想人人上| 久久香蕉综合一本到3atv| 日本操逼视频免费| 亚洲第一男人天堂| 欧美韩日精品资源| 富二代亚洲精品99| 欧美亚洲日韩人妻在线观看| 特级丰满少妇一级AAAA爱毛片| 94色色电影网| 美国三级日本三级久久99| 熟女中出视频| 日日爽夜夜爽| 婷婷丁香五月综合| 日韩精品中文字幕二区| 亚洲国产精品无码AV久久久| 99中文字幕| 夜夜国自区| 亚av顶级裸体一区二区三区四区五区 | 欧美丝袜激情| 久久久中文版| 330dv亚洲成年视频网| 综合五月婷婷| 日韩激情中文字幕有码| 翔田千里AV无码秘 三区| 久久九精品| 国产乱码精品久久久久久| 黄色免费一级在线毛片| 少妇久久久久久| 欧美78P| 欧美激情 亚洲色图| 欧美A√综合网| 麻豆人妻少妇在线免费观看| 欧美性猛交美女自慰91| 久久99操天天日| 免费看美国人人爽,人人操| 国产 码在线成人网站| 91在线精品| 亚洲性爱免费电影| 1人人看人人摸人人操| 人人干黄色| 大香蕉乱级| 免费一级特黄特色大片在线观看看| 男人的天堂午夜av| 日本操嫩b网| 操逼1区| 操逼逼无码| 人人插人人搞人人操| 日韩人妻一区二区精品| 欧美熟妇视频| 99精品网站| 日韩精品国模| 骚女天天综合网| 日本人妻伦在线中文字幕| 国产黄色视频久久| 国产激情片在线观看| 亚洲色图91欧美日韩| 黄片在线免费在线观看| 国产精品乱人伊人网| 麻豆精品A片免费观看| 欧美大战久久久伊人| 久久成人东京热人妻| 日韩十八禁| 国产精品电影大全| 日韩无码专区| 青青草原综合久久大伊人精品| 99啪| 午夜毛片亚洲精品片国产久久久| 干干干天天| 一本一道波多野毛片中文在线| 婷婷99| 9999九九九久久久| 日本东京热久久久电影| 国产动漫操逼视频| 人妻少妇色综合| 欧洲人妻视频| 岛国大片在线观看网站入口| 亚欧精品久久久久久久久久久| 国产亚洲日本| 免费A片三p视频| 国产精品熟女乱伦| 青青操视频在线| 韩国免费播放一级毛片| 亚洲人妻中文高清| 熟女一区二区| 强奸抽插av| 91 手机在线播放 绯色| 美美91成人国产精品欧美精品久久久久久久| 日本色色视频网站| 视频二区美腿丝袜制服人妻欧美| 少妇专区一二三四五| 97无码视频在线播放| 久久久中文| 锕锕好爽 死我在线观看| 国产精品白丝在线播放| 人妻一区久久二区三区色播| 日本韩高清无砖码22o| 最近2019中文字幕国语免费版| 91欧美另类| 免费?级毛片无码?∨蜜芽试看| 久久侵犯人妻爽爽爽| 99啪啪| 国产精品久久久久久久久久久久久久久久 | 丰满的三级少妇欧美久久久| 99热国产精品| 岛国黄| 9 9无尺码天堂网| 一区二区三区免费岛国片| 99热精品国产| 国语国产操逼伊人AV网| 精品久久久中文字幕不| 天天做天天爱夜夜爽毛片试看| 久久免费看高潮毛片韩国| 日韩传媒在线| 国产日韩在线播放av| 久久久久久91香蕉国产| 手机在线人成免费视频| 熟妇人妻丰满久久久久久久无码| 亚洲 欧美 手机在线观看| 亚洲熟女一区| 99综合| 欧美黄页| 校园春色欧美色图| 欧美三级中文字幕hd| 欲女人妻性色av| 97精品熟女少妇一区| 中文字幕在线观看视频www| 性高潮久久久久久久久久久| 久久a久久| 国产精品分类在线观看| 四季av一区二区凹凸精品小说| 婷婷久久五月天| 婷婷爽人人婷婷爽视频| 中文字幕在线2| 一本久道久久综合狠狠爱| 天堂精品| 亚洲情色1区| 全免费a敌肛交毛片免费| 校园春色亚洲色图| 欧美 亚洲 另类 综合| 无套内射性感少妇视频| 99这里只有精品国产| 亚州五月| 国产精品高潮久久AV| 欧美黄色片AAAAA| 国产91 丝袜在线播放00-百度| 国产精品国产| 国产乱伦视频污| 国产三级中文字幕粉嫩| 久久超碰大香蕉| 992这里有精品| 亚洲激情综合另类男同| 夜色综合| 亚洲丝袜在线观看| 情色五月天就去干| 最新精品久久蜜桃| 天堂国产AV| 熟妇熟女视频一区二区三区| 乱伦熟女区| 中文字幕一区二区在线日韩精品| 麻豆人妻精品一区二区| 乱伦AVxx| 久久精品高清AV| 99热| 好吊色青靑草| 九九九色| 69av一区二区三区| 精品日韩人妻视频| 日韩簧片免费看| 亚洲阿v天堂在线| 人妻天堂网| 人人操人人射人人干| 国产精品久久久777| 97超碰天天爱天天爱| 久久极品一区二区| 五月婷婷久久综合| 日本肉体xxxx裸交| 五月天综合| 欧美日韩高潮喷水91| 欧美亚涩| 日韩99神马视频片| 欧美精品偷拍| 亚洲人精品久久久| 青青在线视频日韩欧美| 亚洲成人黄色在线观看| 在线中文字幕极品av| 婷婷五月在线视频| 久久超碰大香蕉| 久久久久久久久久久999| 91殴美大片| 欧洲精品一区二区三区| Aa东京男人的天堂| 久久久久9999| 超碰4A| 国产精品乱码久久久久久久久| 少妇熟女一区二区三区| 黄片免费日韩| 久久AV无码网址| 精品夜夜澡人妻无码| 天天综合网入口~91| 啊啊啊啊啊舒服| 亚州综合色| 中文字幕亚洲永久精品| 伦伦成年午夜免费视频| 啊灬啊灬啊灬好深灬快高潮了动漫-国产字幕国产在线观看-B049AV | 欧美色图亚洲色图成人在在线| 成人精品水蜜桃久久久久久久| 97操97干| 无码逼| 国产91美女高潮| 久久久久无码一妻区| 久久亚洲日韩熟女精品| 做爱A级亚欧| 97色色色| 劲爆欧美人妖三区91| 天天综合97| 久久人人舔人人爽舔人人av片| 日本超碰在线国产一区| 二级毛片| 女人被男人桶爽视频网站| 欧美强奸乱能| 久久精品免费| 91A欧美电影网站| 亚洲精美粉嫩嫩泬在线观看| 蜜桃久久久久久久| 久久久久白虎| 激情久久av一区av二区av| 秋霞午夜视频一区二区| 亚洲精品97| 国产超碰| 91狠狠狠| 狠狠干,狠狠操| 中文字幕av一区二区三区人妻少妇| 欧美岛国精品在线观看| 天天欧美色| 亚洲无码一区成人免费午夜| 亚洲欧美日韩精品久| 金典av| 18禁精品网站在线看| 91成人在线| 成人青青草原伊人| 99碰碰| 日日躁狠狠躁天天躁精品| 国产九九九九九九九九| 好色美女九七第一页| 久久久内射良家| www.av在线视频| 丝袜av一区二区三区| 亚洲免费在线探花| 人人爽夜夜玩视频| 97福利视频| 亚洲天天更新| 欧美日韩国产中文精品字幕自在自线,| 99精品无码| www.99热| 久久精品国产AV一区二区三区| 超碰97网址| 一区二区三区亚洲| 色久桃花影院在线观看| 精品一久久久| 狠狠综合网| 国产精品视频内谢女人| 亚州色图欧美| AV中文在线| 国产毛片片精品天天看视频| 亚洲少妇色图自慰直播| 91丨熟女丨丰满熟女| 久久久免费高清中文视频| 天天操综合网| 亚洲一曲日韩精品| 久久久91福利姬| 婷婷丁香成人| 伦在线97| 美中韩AV综合网| 高潮的A片激情扒开一区| 久久天堂网| 九九九九九九九九九九九免费国产| 国产精品一区av在线| 99re28在线观看| 91夜夜蜜桃臀1区2区3区| 日本高清有码网址视频| 中文字幕日韩精品久久| 久久区| 亚洲综合贴图91| 精品国产乱码久久久久久久久1| 日日操丁香五月天| 殴美日韩m| 欧美日综合| 久思思热视频在线观看| 精品人妻中文字幕高清| 成人性交午夜免费片| 秋霞鲁丝午夜无码一区二区三| 色婷视频| 国产三级中文有码在线视频| 久久久久久久强迫| www.男人的天堂| 97日韩欧美亚洲| 国产精品久久久久久久久久久久久久久| 78超碰| 岛国不卡超碰护士AV在线播放| 亚洲熟妇丝袜在线观看| 99性爱视频| 午夜天堂啪啪| 91粉嫩萝控精品福利网站_精品影音先锋国 | 综合av社区| 人人爱人人乐人人操| 亚洲91av| 91无人区卡一卡二卡三乱码入口最新版:能让用户有更多选择的选择-经典说说-爱 | 小视频玖玖| 日韩综合成人免费视频| 日本精品网站在线中文| 欧美天天射| 亚洲 欧美 色图| 日韩成人小视频| 一区二区三区黄色片a| 欧美亚洲素人制服精品| 一区二区三区高清天码| 神马久久久久久伦理片| 亚洲日韩美国人妻| 日韩国产在线观看av| 国产真实野战在线视频| 色综合九九| 午夜男人一级A片7777| 久久九九99| 美日韩成人| 啊啊啊啊啊啊在线观看| 亚洲九九九| 亚洲无码国产探花在线观看| 男人的天堂午夜av| 国产亚洲精品第一最新| 亚洲少妇喷视频看| 亚州色图狠狠干| 中文字幕女同在线| 亚洲同性aV综合| 国产日韩精品suv| 浪人综合网| 婷婷五月花| 神马久久中文字幕| 五月婷在线| 天天日日舔舔| 精品人妻视频一区二区三区蜜桃视频| 亚洲少妇自拍中文字幕懂色| 亚洲影院成人| 亚洲成a人在线观看久| 久久精品国产亚洲AV成人直播| 国模无码一区二区三区在线| 九九热免费国产视频婷婷伊人| 日韩美脚一区二区网站| 亚州高清色综合| 久久国色天香香蕉| 天堂综合| 国产亚洲深夜激情| 手机看片1024你懂的国产| 一区二区 韩日AV| 一本大道综合伊人精品热热| 翔田千里AV无码秘 三区| 黄片免费看的| 九九毛片这里只有精品| 欧亚 另类 久| 人人看黄色视频| 97亚洲综合电影| 久久久涩| 亚洲国产欧美中文永久| 久久久久亚洲AV无码专区少妇| 97五月天| 久久久四区| 日韩AV熟女乱伦| 91强在线播放| 一级特黄aaa大片在线观看成人一级片在线观看| 八人操人人摸人人看| 麻豆性爱视频在线播放| 色色97爱| 日韩成人精品中文字幕| 女人天堂网| 一,爱啪啪,在线免费视频| 99999精品成人| 国产h小视频在线观看免费| 成人精品在线观看| 久久婷婷五月综合| 国产免费一区| 亚洲一区二区精品福利| 四虎免费视频| 激情五月天丁香社区| 97视频新免费| 大香蕉黄色一区| 97久操| 久久婷五月天| 天天肏视频| 偷拍欧美激情| 免费人成在线观看网站品爱网| 综合网~91综合网| 久久性爱精品一区| 亚洲精品不卡一二三区| 综合色99| 日本熟人妻中文字幕在线|...久久国产精品-国产精品_日本一区二区三区中文字幕 | 亚洲精品九九九| 亚洲一二三精品久久网| 一级片在线观看高清无码| 欧美第二页午夜| 黄片直播三级黄片两女一男| 大香蕉伊人75| 精品久久久久黄少妇| 91c色| 精品人妻久久久久一区二区三区| 91超级碰| 99re69综合| 无遮挡一级毛片视频免费的| 亚洲性感丝袜诱惑在线观看| 丁香九月婷婷| 小视频国产| 欧美偷偷网| 日韩三级一区 | 色乱二区| 91天天| 欧美日韩婷婷中文| 美国一区二区免费视频| 亚洲黑人在线| 欧美在线l亚洲| 日本成人A片免费看| 熟人人妻少妇精品久久| 操婢日韩| 日日干日日摸| 91jk色拍| 99热在线观看| 日本日逼高清| 亚州熟女乱伦| 我想要 啊 啊 啊| 久久精品女同亚洲女同13| 久操99| 欧美色婷婷| 欧美精品xxxwww| 日日夜夜免费| 99久在线精品99re8蜜桃| 动漫av中文| 97在线观看免费视频l| 东京热一区二区三区四区五区六区| 日韩午夜啪啪视频| 亚洲欧美国产其他二区| 思思热er精品视频| 116美女午夜| 日韩黄色一区二区三区| 国产三级中文有码在线视频| 嫩呦国产一区二区三区AV| 日本韩国国产精品一区| 男女性无套 免费九一| 亚洲欧美在线丝袜| 日韩欧美午夜视频在线| 校园春色 亚洲| 老熟女阿 国产91| 中文字幕av一区二区三区人妻少妇| 超碰调教97| 日韩欧美视频青青| 亚洲男人天堂2019| 亚洲AV无码天美传媒一区| 黄aaaaaaaaaaaaaaaaaa色网站| 久久精品国产亚洲AV嘿嘿| 无码人妻精品一区二区中文 | 99欧美| 亚洲天堂电影精品一区| 欧美极品少妇交| 日韩99神马视频播放片在线播放| 色爽爽文学| 亚洲国产一级中文综合久久天堂在线免费观看 | 亚洲风情在线观看| 超碰精品日韩欧美国产| 欧美一级特黄淫片在线观看| 久久免费精品视频免一| 91黑丝在线播放| 999久久久九| 国精综合一二三区影视| 97欧美色资源| 久久久久久久六六 | 岛国成人av在线播放网址| 欧美1727免费观看视频| 国产精品久久久久久久久久久久久久久久久久 | 东京热av男人的天堂| 国产又长又大又粗的视频| 青草精品视频日本久久久久网站在线| 国产老女人久久毛| 亚洲精品无码成人久久久99 | 夜夜高潮夜夜爽高清视频一 | 哈哈操电影AV| 天天天天做夜夜夜夜做| 亚洲中文sv| 麻豆精品一区二区三区四区免费观看| 国产 亚洲 一二三四| 强奸乱亚洲| 91视频成人福利网站在线一区| 青青草字幕AV| 日韩一二三区| 久久久久国产精品片区无码直播| 天天爽爽爽爽| 这里都是精品在线观看| 亚洲丝袜色图| 欧美96精品在线| 中文字幕一二区二三区人妻专区| 亚洲91少妇| 亚洲大色鬼| 欧美性夜| 思思热免费视频观看| 久久色一区二区| 97欧美| 日韩av乱伦| 久久偷偷色综合蜜桃| 日本人妻中文字幕 | 超碰狠狠操| 欧美激色| 色嗨嗨在线| 97天天弄| 国产 日韩,欧美 自拍| 六月丁香网| 2020天天色综合| 99久久久er直播网址| 91天天c| 综合第一页| 久久久久久亚洲精品不卡人乳 | 可以在线观看的黄色网址| 国产精品诱惑| 啪啪91| 欧美日韩久久精品爱爱| 色狠狠综合| 天天舔日美女视频| 综合影院亚洲| 免费AV中文网在线观看| 欧美一级欧美三级在线观看| 100啪啪视频大全| 亚洲一二三| 日本不卡高清视频| 午夜精品人妻二区三区| 国产亚洲精品第一最新| 女人18精品一区二区三区| 综合熟女| 激情婷婷综合久久| 5252色欧美在线| 精品人妻伦一区二区三区久久| 黄色AAAAAAAAAAA大片| 好屌色综合| www…国产操逼| 麻豆视频一区二区| 亚洲精品欧洲精品| 新亚洲无码| 啊啊啊要高潮了| 日本性爱不卡视频| 日韩大香蕉| 爱啪精品一区| 国产一区二区三区精品观看啪| 天堂综合网| 97超碰免费人人性爱| 日本精品高清一二区一本到| 日韩精品一区二区三区色欲| 国产精品香蕉| 国产精品密臀网在线观看| 色欲久久综合| 日韩欧美成人午夜福利| 人妻激情视频| 欧美激情色婷婷花野真衣一区二区| 去干网最新版| 无码精品久久| 欧美亚洲厕所精品偷拍91 | 色久桃花影院在线观看| 91熟女丨老女人| 国产精品不卡一区二区三区| 国产97亚洲| 五十路人妻在线| 日本熟人妻中文字幕在线|...久久国产精品-国产精品_日本一区二区三区中文字幕 | 日本幼女18+| 97AV在线免费观看| 欧美熟爽综合| 偷拍伦理视频| 日韩精品一区二区三区色欲| 91一区二区三区蜜桃| 精品亚洲天堂| 精品国产乱码久久久久久久| 亚洲精品国产av天美传媒| 日本天天吊| 色老久久| 高潮9999外国| 91美女丝袜诱惑视频| 久草视频在线视频在线视频在线观看| 一区二区乱码福利| 久久岛国| 97人人操人人干| 东北丰满熟女国产一区| 精品一区二区三区免费古装毛片香港三级日本三级人妇 | 亚洲最大成人a毛毛片| 中文字幕日韩专区精品系列 | 亚洲男人天堂视频| av绯色| av中亚| 久久久亚洲精品中文字幕人妻| 中文字幕第95页| 97超碰免费生活| 国产熟女| 日韩AV一区二区三区三州三州| 偷拍欧美综合| 日本天天色| 99综合免费视频| 丁香五月激情网| 超碰三级秋霞| 日本青青草在线| 国产原创精品| 久久亚洲人妻| 日日天天久久啊啊aaa| 男人下部插入女人下部| AV丝袜少妇| 国产第11页| 无码九九| 99精品久久久久久久婷婷| 亚洲精品国产专区在线观看| 逼操网站| 最近的最新的中文字幕视频| 99热综合| 黄日韩| 亚州欧美在线| 天天做天天爱| 欧美综合娱乐久久| A久久| 亚洲视频一二区| 精品日韩产品在线,日韩在线不卡视频,欧美日韩免费专区/久, | 国内毛片热久久思思热| 26uuu性| 婷婷AV一区二区三区| 精品人妻久久久久一区二区三区| 日韩有码中文字幕女同性恋| 在线播放成人高清免费视频| 白嫩国模丰满一二三区| 91在线美女| 久久熟女嫩草成人片免费| 亚洲国产另类在线中文| 日韩操逼HD| 97自拍视频在线| 天天天天天超碰| 精品国产乱码久久| 超碰成人免费| 91nbbbbbb| 男人天堂网站| 玖玖婷婷五月天| 国产美女口爆吞精| 日本男人天堂| 激情啪啪拍91| 精品一久久久| 欧美夜夜| 人妻熟女字幕一区二区| 天天干夜夜操一区二区| 搡老女人911熟妇老熟女| a在线观看| 久久精品国产久精国产| 国产福利电影| 色婷婷综合久久久久中文一区二区| 激情五月婷| 日韩噜噜69| 成人一二| 亚州操操穴网| 久热一区二区| 九九九九久久久| 欧美丝袜中文字幕07在线| 国产精品成人福利在线| 国产精品乱码久久久久久久久久久久| 78久久| 欧美色色色| 欧美爆乳精品一区二区| 风月影院男女十八禁| 亚洲少妇色| 欧美日日操| 操人妻视频| 啊啊啊不要嗯嗯在线观看| 少妇久久久久久| 亚洲国产精品久久久久久久久久| 97亚洲中文| 夜夜中出国产| 超碰97中文| 中文字幕乱碼在线| 日韩 国产 欧美自拍| yirendaxiangjiashipin| 久久成人国产精品| 国产成年女人免费视频播放a| 国产精品乱码久久久久久久久久久久| 嗯嗯啊好爽| 最新AVzaixian| 激情小说日韩无码| 嗯嗯,好大,好爽,好骚| 久久久久人妻二区精品叶可怜| 国产第二页| 亚洲一区日韩| 综合网亚洲| 色九九九综合| 中文字幕在线观看二区三区| 视频黄站| 91色综合激情| 国产视频一区二区免费| 精品国产乱码久久久久久蜜臀| 香蕉99秘 精品一区丁香| 日本色色视频网站| 91蜜臀人妻中文字幕在线| 97精品国产97久久久久久免费| 成功精品影院| 无码国产Av| 玖玖久久久| 丝袜视频一区二区在线播放国产中文| 性开放中文AV高清无码免费看| 阿姨一区二区免费视频-高清正片西瓜视频下载app-T450AV | 欧美成人一级麻豆| 99在线啪| 黄网站黄视频网站进入口| 玖玖资源综合在线视频| 探花视频免费观看国产专区| 欧美日韩不卡传媒| 日本精品免费一区二区三区四区| a在线视频免费观看| 99久久久久久亚洲精品不卡| 久久超碰天天| 天天日美女的B| 国产性感骚丝袜在线| 人人 操人人 操人人| 女人香蕉久久毛毛片精品| 免费观看日本操逼视频| 亚洲人精品午夜不卡| 亚洲AV免费在线观看| 另类 日韩 熟女| 成人小说另类在线| 久久九色| 99无码| 天美传媒AV在线| 超碰久超碰久| 欧美丝袜中文字幕07在线| 人妻天天爽夜夜爽2| 97视频在线免费播放| 人人搡人人肉久久精品| 欧美日韩国产电影| 97色涩| 亚洲资源网| 玖玖超碰熟| 久久久禁| 蜜臀无码一区二区| 绑缚麻绳人妻寝取完整版| 欧美国产有色电影| 骚女高跟AV在线| 91国产伊人大香蕉| 东北女人高潮视频| 少妇精品久久| 天天综合网~91| 神马麻豆福利院| 岛国爱情动作片在国产AV无码专区亚洲AV漫画| 色在线69堂| 色婷婷久久| 被体育老师抱着c到高潮| 综合五月婷婷亚洲一区| 成人性爱高清视频免费看| 欧美性爱精品一区二区| 亚洲天堂,男人| 1956日韩精品| 高清不卡一二三区视频......| 很黄很污的免费网站| 加勒比伊人影院| 欧美韩日精品99综合| 精品视频在线观看精品| av在线不卡一区二区三区| 久久高清欧美国产| 麻豆天美国美国产| 粉嫩AV一区夜夜嗨| 欧美 亚洲| 国产成人欧美一区二区三区的国产| 欧美亚洲尤物久久| 亚洲AV无码黄色强奸| 天综合网| 乱伦Av网| 一区二区三区欧美激情| 99热这里只有精| 91亚洲狠狠色| 四虎午夜影院| 亚洲va综合va国产va中文| 91热情品| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区 | 久久久av爱| 超碰 欧美| 视频不卡中文字幕| 99热只有这里有精品| 国产精品经典一卡久久久 | 亚洲欧美日韩不卡人妻| 青椒国产97在线熟女| av大香蕉| 久久精品午夜国产亚洲AV无码| 国产这里只有精品| 精品人妻一区二区三区视频| 97在线免费| 亚洲激情四射| 色九九九综合| 亚洲伊人a线观看视频| 一区麻豆 高清中文字幕| 男生通女生屁股| 亚洲国产精品有声| 伊人成人中文字幕久久网| 97超碰色屌| 中文字幕99999| 亚洲国产一区二区三区四区国产| 920日本午夜免费| 少妇贴图| 巨爆乳肉感一区二区三区竹菊影视 | 中文字幕一区二区三区人妻不卡| 日韩精品国产一区二区| 国产超碰国产97| 久久少妇| 99爱爱| 欧美成人A√在线一区二区| 久久九九国产精品| 日韩人妻精品| 欧美亚洲日本视频久久久| 97精选久久| 欧美日韩 强奸乱伦| 用力操死我| 久久αⅴ| 日本123区操B视频| 97超级久久| 五月婷婷深深爱| 67914在线兔费成人视频| 亚洲av性爱电影| 欧美少妇熟女| 影音先锋日本乱伦| 大香蕉欧美国产日韩高潮| 中文字幕一区二区三区高清| 涩五月婷婷| 天天干天天操天天操夜夜操天天操 | 美国日韩黄片| 日韩欧美丝袜诱惑| 国产又色又爽又舒服的三级视频| 蜜臀网址在线| 九九精品美女高溯喷水| 乱伦熟女专区| 精品少妇人妻| 人妻天堂综合网| 亚洲一区操| 久9久9久9久9久9久9| 天天射网| 天天激情综合站| 亚洲第一页综合在线| 日韩不卡av一二三| 色逼综合| 综精品久久久aaaa| 老熟女乱子伦中文字幕一区二区 | 欧美熟妇操操视频| 日韩强奸av| 99re在线视频国产| 九九色精品| 狠狠操夜夜| 粉嫩AV一区二区夜夜| 91欧美丨精品丨入口| 婷婷在线视频| 凹凸久久人人| A片大香蕉在线| 97神马久久| 东京热大香焦| 老外又粗又长一晚做五次| 91熟女.com| 青青草精品| 91粉芽高清在线一区二区| 日韩人妻 中文字幕| 久久97精品久久久久久久不卡| 国精综合一二三区影视| 区一在线观看| 欧美日韩高潮喷水91| 天天天天天干夜夜夜夜夜操| 日韩无码三级影院| 在线观看一级α片刺激高潮视频| 国产精品久久久久久夜夜夜夜| AV天天综合| 夜夜中出国产| 99无码精品| 久久久久久久| 九九热在线精品视频| 天天干2区3区| 精品国产乱码久久久久久影片| 男女真人网18| 少妇无码999| 男人的天堂视频精品乱在线| 亚洲综合校园春色| 国产乱码精品久久久久久| 9精品在线| 久久理论字幕视频| 五月天激情小说| 99精品视频在线观看| 久久丁香五月天| 精品一区二区综合熟妇| 狼狼色丁香久久婷婷综合五月| 国产精品探花色| 多毛小伙内射老太婆| 伊人超碰97| 中国熟妇| 国产馆| 中文字幕欧美日韩三级| 欧美一区二区男人天堂| 旡码电影特区| 九一屌逼| 日韩精品人妻系列无码天堂| JULIA人妻风俗店中出电影| 99啪啪| 色欧美在线| 日本孕妇一区二区视频操逼免费看 | 精品久久久中文字幕不| 东京热,男人的天堂| 欧美精品97| 欧美日韩在线小说 | 久草这里只有精品 | 国产情侣自拍在线播放| 操操碰| 婷婷激情一区二区三区俺也去| 欧美精品 - 91爱爱| 97国产综合欧美| 草草电影院| 韩国一级做A片免费的| 激情六月婷婷| 中文字幕视频2区| 超碰社区97| а√天堂资源官网在线资源| 一级片在线观看高清无码| 亚洲精品视频二区| 曰本精品久久久| 97欧美日韩精品| 一级@啪啪视频| 欧美男人一区| 91插B网站| 国产精品视频自拍在线| 伊人久久大香线蕉无码| 色综合久| 久久国语| 综合网天天| 久久激情综合| 中文字幕女同在线| 青青五月天| 91精品久久久久五月天精品| 亚洲中文一区二区三区| 色婷婷一区二区三区久久| 国产网站在线播放| 久久久99久9| 国产精品乱码久久久久久久久| 中文字幕精品免费一区二区| 懂色AV一区二区三区| 激情文学亚洲| 免费看A片毛毛片在线播| 久久久久久9999| 思思视频免费看网站| 97超碰天天爱天天爱| 放黄片放3级黄片没穿衣服| 一二三区在线| 亚洲中文制服诱惑| 91 天天综合| 丁香六月天| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 国产AV激情无码久久无码| 在线天堂999| 免费视频在线一区二区不卡| 欧美色图片91| 插入逼91| 久久蜜桃综合网| 国产操逼视频在线观看| 99精品网站| 国产成年免费大片黄在线观看| 熟女一区二区三区| 手机在线免费看的av| 神马久久久久久久久久久久| 黄片免费日韩| 男人久久精品| 国产亚洲精品av一区| 亚洲精品久久久久久| 国模少妇一区二区三区| 久久这里只| 91女网站| 综合欧美激情网| 91丨九色丨43老版熟女| 久久9精品网站| 国产精品乱人伊人网| 日韩乱伦影音先锋| 宅男午夜在线视频| 超清福利精品视频在线| 欧亚韩国999| 大香蕉伊人亚洲| 26uuu久久| 欧美日韩精品久久久久东北老熟妇| 97天天摸天天碰| 波多野结衣之双飞调教在线播放 | 97在线视频观看免费| 看日韩美女二区三区免费操逼视频| 日韩熟女无码| 青青五月天| 啊啊啊好舒服好爽啊啊啊视频| 三级特黄60分钟播放|