日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Hadoop企業(yè)級(jí)實(shí)戰(zhàn):集群搭建、HA與Zookeeper整合排障指南

Hadoop企業(yè)級(jí)實(shí)戰(zhàn):集群搭建、HA與Zookeeper整合排障指南 我?guī)н^不少新人也幫人排查過不少集群?jiǎn)栴}。有個(gè)現(xiàn)象特別普遍很多人把Hadoop偽分布式搭起來(lái)、跑通一個(gè)WordCount就覺得Hadoop這關(guān)過了。但真到了企業(yè)級(jí)項(xiàng)目里面對(duì)一個(gè)多節(jié)點(diǎn)集群、跟Zookeeper等生態(tài)組件深度整合之后問題根本不是“跑通”兩個(gè)字能覆蓋的。格式化失敗、DataNode注冊(cè)不上、NameNode莫名其妙掛掉、HA自動(dòng)切換不生效隨便一個(gè)故障都能讓人卡住一整天。這篇東西寫給那些已經(jīng)跨過入門、正準(zhǔn)備往進(jìn)階走的人。不管你是要準(zhǔn)備Hadoop面試還是公司里要上一套真正能扛業(yè)務(wù)的集群又或者只是被“ambari部署hadoop集群”“hadoop啟動(dòng)格式化失敗”這種問題折磨到懷疑人生下面的內(nèi)容都應(yīng)該能幫上忙。我會(huì)按企業(yè)級(jí)落地時(shí)最容易出問題的那幾條線來(lái)講部署路線怎么選、HA怎么跟Zookeeper整合、格式化與啟動(dòng)階段有哪些坑、日常故障怎么一步步查以及最后怎么用一套“故障演練”的方式把知識(shí)變成自己的。1. 能跑通Demo和能扛住生產(chǎn)中間隔著什么1.1 偽分布式容易給人“我已經(jīng)會(huì)Hadoop”的錯(cuò)覺很多教程喜歡讓人從偽分布式開始這沒問題但它帶來(lái)的最大副作用是偽分布式跑得太順了順到讓人誤以為Hadoop就是“改幾個(gè)配置文件啟動(dòng)幾個(gè)進(jìn)程”的事兒。偽分布式本質(zhì)上是在一臺(tái)機(jī)器上用多個(gè)Java進(jìn)程模擬分布式。它沒有真實(shí)的網(wǎng)絡(luò)IO沒有跨節(jié)點(diǎn)通信沒有機(jī)架感知也沒有資源競(jìng)爭(zhēng)。你在偽分布式里看到的日志永遠(yuǎn)干干凈凈你在偽分布式里執(zhí)行的格式化永遠(yuǎn)一次成功。但所有這些“順利”都是假象恰恰是進(jìn)階路上最危險(xiǎn)的起點(diǎn)。到了真實(shí)集群環(huán)境你面對(duì)的是完全不同的復(fù)雜度網(wǎng)絡(luò)成為第一道坎。節(jié)點(diǎn)之間要互相解析主機(jī)名防火墻要放行一堆端口機(jī)架感知策略會(huì)影響副本存放。偽分布式里從來(lái)沒有這個(gè)概念。資源是有限的。NameNode的內(nèi)存決定了能支撐多少文件元數(shù)據(jù)DataNode的磁盤決定了能存多少數(shù)據(jù)塊YARN的調(diào)度器決定了任務(wù)能不能擠進(jìn)去。偽分布式不關(guān)心這些因?yàn)樗袞|西都在一臺(tái)機(jī)器上。故障是常態(tài)。一個(gè)節(jié)點(diǎn)掉線、一塊磁盤寫滿、一次Full GC導(dǎo)致心跳超時(shí)都可能導(dǎo)致整個(gè)集群進(jìn)入降級(jí)狀態(tài)。偽分布式里的進(jìn)程掛了你馬上知道生產(chǎn)環(huán)境里一個(gè)節(jié)點(diǎn)無(wú)響應(yīng)你可能要翻半天日志。我見過太多人面試時(shí)把HDFS架構(gòu)背得滾瓜爛熟真到了集群上連“DataNode為什么起不來(lái)”都無(wú)從下手。原因很簡(jiǎn)單他們學(xué)的是“結(jié)構(gòu)”不是“行為”。企業(yè)級(jí)項(xiàng)目實(shí)戰(zhàn)要補(bǔ)的恰恰是后一半。1.2 企業(yè)級(jí)項(xiàng)目的重心其實(shí)在Hadoop之外還有一個(gè)更隱蔽的認(rèn)知偏差很多人以為企業(yè)級(jí)項(xiàng)目 把Hadoop集群搭得更大、更快。真不是這樣。企業(yè)級(jí)項(xiàng)目的難點(diǎn)一大半在Hadoop之外在生態(tài)整合與運(yùn)維體系建設(shè)上。Hadoop只是一個(gè)底座底座之上掛著一堆組件Zookeeper管協(xié)調(diào)、YARN管調(diào)度、Hive管數(shù)倉(cāng)、HBase管在線查詢、Kafka管數(shù)據(jù)接入。這些組件單獨(dú)看都不難難的是它們咬合在一起之后出了問題你很難判斷是哪一環(huán)掉了鏈子。舉個(gè)例子一個(gè)Hive查詢突然變慢可能的根因包括HDFS某個(gè)DataNode磁盤IO異常導(dǎo)致讀取走了慢路徑Y(jié)ARN隊(duì)列資源被別的任務(wù)占滿你的任務(wù)一直在排隊(duì)Zookeeper會(huì)話超時(shí)導(dǎo)致HBase RegionServer在做無(wú)謂的自我恢復(fù)甚至是NameNode在做checkpoint時(shí)搶占了大量IO間接拖慢了整個(gè)HDFS。這種問題只懂Hadoop本身是搞不定的。你必須對(duì)整個(gè)生態(tài)的運(yùn)行機(jī)制有清晰的認(rèn)知知道哪個(gè)組件的數(shù)據(jù)流向哪里、它依賴誰(shuí)、掛了會(huì)有什么表現(xiàn)。這才是“生態(tài)深度整合”這四個(gè)字的真正含義也是這篇文章試圖幫你建立的主干思維。2. 集群搭建的三條路線手動(dòng)、Ambari、容器化怎么選2.1 手動(dòng)搭建值得走一遍但別在生產(chǎn)環(huán)境硬扛我始終建議每個(gè)進(jìn)階者手動(dòng)搭一遍Hadoop集群哪怕只是三個(gè)節(jié)點(diǎn)。原因很簡(jiǎn)單手動(dòng)搭建能逼著你把每個(gè)配置項(xiàng)的含義弄清楚而不是讓工具替你把這些細(xì)節(jié)全部藏起來(lái)。但手動(dòng)搭建只適合學(xué)習(xí)不適合當(dāng)生產(chǎn)環(huán)境的長(zhǎng)期運(yùn)維方案。你手動(dòng)搭起來(lái)的集群沒有統(tǒng)一的配置管理沒有完善的可視化監(jiān)控沒有組件間的健康檢查。一旦規(guī)模超過十個(gè)節(jié)點(diǎn)手動(dòng)運(yùn)維會(huì)變成一場(chǎng)災(zāi)難。版本選型是手動(dòng)搭建的第一步。我這里不想把Apache、CDH、HDP的版本歷史鋪開講就講現(xiàn)狀Cloudera和Hortonworks合并之后CDH成了商業(yè)產(chǎn)品HDP的開源脈絡(luò)則由Cloudera的開源發(fā)行版延續(xù)但整體都偏向商用訂閱如果你想要純開源、不涉及商業(yè)授權(quán)煩惱的路線Apache Hadoop社區(qū)版是唯一穩(wěn)妥的選擇。版本號(hào)上Hadoop 3.x已經(jīng)是絕對(duì)主流3.1.x和3.3.x用得最多。3.3.x修復(fù)了不少3.1.x遺留的問題新項(xiàng)目建議直接上3.3.x。手動(dòng)搭建時(shí)有幾個(gè)配置項(xiàng)是無(wú)論如何都要搞懂的配置文件關(guān)鍵配置項(xiàng)它的作用core-site.xmlfs.defaultFS指定NameNode的RPC地址客戶端和DataNode全靠它找到“老大”hdfs-site.xmldfs.replication數(shù)據(jù)塊副本數(shù)決定了容錯(cuò)能力與存儲(chǔ)成本的平衡hdfs-site.xmldfs.namenode.name.dirNameNode元數(shù)據(jù)存儲(chǔ)路徑必須放在獨(dú)立磁盤上不能跟系統(tǒng)盤混用yarn-site.xmlyarn.nodemanager.resource.memory-mb單個(gè)NodeManager可用的物理內(nèi)存上限直接決定容器能開多大mapred-site.xmlmapreduce.framework.name必須設(shè)為yarn否則MapReduce任務(wù)不會(huì)走YARN調(diào)度另外環(huán)境準(zhǔn)備這一步千萬(wàn)別跳所有節(jié)點(diǎn)之間要配置SSH免密登錄系統(tǒng)時(shí)間必須用NTP同步差一分鐘都可能引發(fā)Kerberos認(rèn)證失敗或心跳異常JDK版本必須完全一致最好連JDK的安裝在哪個(gè)路徑都保持一致。這一步能給你省掉后面80%的玄學(xué)故障。2.2 Ambari部署中大規(guī)模集群的運(yùn)維入口如果公司要搭一套十幾個(gè)節(jié)點(diǎn)以上的集群我建議別掙扎了直接上Ambari這類工具。Ambari的價(jià)值不在于“一鍵安裝”——真正裝過的人都知道它也不是完全一鍵。它的核心價(jià)值是集中化配置管理所有組件的核心配置項(xiàng)都在Web界面上改改完能統(tǒng)一分發(fā)到所有節(jié)點(diǎn)還能選擇是否滾動(dòng)重啟服務(wù)健康檢查每個(gè)組件的存活狀態(tài)、告警規(guī)則、指標(biāo)趨勢(shì)都集中展示省去了逐臺(tái)機(jī)器翻日志的苦力活擴(kuò)縮容友好新增一個(gè)DataNode節(jié)點(diǎn)界面上填上主機(jī)名和SSH憑據(jù)就行了。但Ambari也有幾個(gè)典型的坑我踩過身邊的人也踩過Ambari Server自身的內(nèi)存占用比預(yù)想的高。默認(rèn)的2GB堆內(nèi)存在組件多的時(shí)候會(huì)有明顯壓力我的建議是至少給Ambari Server分配4GB以上。如果你把Ambari和NameNode放在同一臺(tái)機(jī)器上更要提前調(diào)好內(nèi)存分配。Agent注冊(cè)失敗是高頻問題。Ambari Agent向Server注冊(cè)時(shí)要求兩邊主機(jī)名能互相解析。很多人只配了/etc/hosts但沒配好防火墻導(dǎo)致Agent注冊(cè)超時(shí)。處理方式很粗暴也很有效先確認(rèn)hostname一致再確認(rèn)防火墻放行8080和8440/8441端口最后重啟Agent看日志。藍(lán)屏問題。這里的“藍(lán)屏”是Ambari界面上組件狀態(tài)變藍(lán)表示“未安裝”。最常見的原因是你手動(dòng)在某個(gè)節(jié)點(diǎn)上裝了組件之后用Ambari管理時(shí)狀態(tài)就錯(cuò)亂了。記住一條鐵律Ambari管理的集群所有操作都通過Ambari做永遠(yuǎn)不要手動(dòng)去改它管理范圍內(nèi)的配置文件和啟動(dòng)腳本。2.3 Docker鏡像搭建學(xué)習(xí)驗(yàn)證的最優(yōu)解生產(chǎn)的禁區(qū)Docker跑Hadoop這幾年越來(lái)越流行因?yàn)閷?duì)學(xué)習(xí)來(lái)說(shuō)它實(shí)在太方便了。不需要準(zhǔn)備一堆虛擬機(jī)一條命令就能拉起一套集群跑完就刪干凈利落。我自己用Docker方式做過完整的三節(jié)點(diǎn)Hadoop集群體驗(yàn)是用來(lái)驗(yàn)證配置修改、測(cè)試作業(yè)邏輯、準(zhǔn)備面試場(chǎng)景效率無(wú)敵。但要注意幾個(gè)關(guān)鍵細(xì)節(jié)網(wǎng)絡(luò)模式用host或自定義bridge不要用默認(rèn)bridge。默認(rèn)bridge的網(wǎng)絡(luò)隔離會(huì)讓容器間主機(jī)名解析變得很麻煩自定義網(wǎng)絡(luò)加上固定的容器名才能模擬出真實(shí)集群的主機(jī)解析關(guān)系。數(shù)據(jù)目錄務(wù)必用volume掛出來(lái)。否則容器一刪你辛苦搭的環(huán)境數(shù)據(jù)全沒了下次還得從頭再來(lái)。鏡像的Java版本要和Hadoop版本匹配。很多第三方鏡像用的OpenJDK 8對(duì)Hadoop 3.3.x也沒問題但如果你拉了一個(gè)很老的鏡像配了很新的Hadoop格式化階段就可能報(bào)出詭異的NativeIO錯(cuò)誤。容器化跑Hadoop唯一的限制是它模擬不了真實(shí)的資源競(jìng)爭(zhēng)和網(wǎng)絡(luò)故障場(chǎng)景。Docker容器之間雖然是隔離的但底層還是共享同一套內(nèi)核和物理資源。這意味著你用它學(xué)“功能”沒問題學(xué)“性能調(diào)優(yōu)”和“故障演練”則遠(yuǎn)遠(yuǎn)不夠。所以我的結(jié)論是容器化是學(xué)習(xí)環(huán)境的最優(yōu)解盡早上手生產(chǎn)環(huán)境則除非是短期測(cè)試環(huán)境否則別碰。順帶提一句Windows開發(fā)環(huán)境的搭建?,F(xiàn)在很多新手想在自己Windows機(jī)器上折騰Hadoop也就是熱搜里那個(gè)“windows下載hadoop”的需求我的建議是在Windows上直接裝Hadoop很痛苦不只是下載解壓的問題還有一堆原生庫(kù)依賴、路徑分隔符、權(quán)限模型的問題等著你。最省力的做法是裝個(gè)WSL2或直接上Docker Desktop在Linux內(nèi)核環(huán)境里跑Hadoop體驗(yàn)和真實(shí)集群幾乎一致。“hadoop開發(fā)環(huán)境搭建頭歌”這類實(shí)訓(xùn)平臺(tái)我也見過適合當(dāng)入門練習(xí)但如果你想深入理解原理還是要自己搭一套干凈的環(huán)境不要依賴平臺(tái)幫你隱藏細(xì)節(jié)。3. Hadoop與Zookeeper整合實(shí)戰(zhàn)HA集群的心臟3.1 為什么HA不能沒有Zookeeper先回答一個(gè)面試必問、也是實(shí)際運(yùn)維中必須理解透徹的問題為什么NameNode的高可用一定要靠ZookeeperNameNode是HDFS的核心它保存了整個(gè)文件系統(tǒng)的元數(shù)據(jù)。一旦它掛了整個(gè)HDFS都不可用。早期Hadoop的痛點(diǎn)是單點(diǎn)故障NameNode一掛集群就癱瘓只能靠人工恢復(fù)。那有人會(huì)問用Keepalived這類方案給NameNode掛一個(gè)虛擬IP主節(jié)點(diǎn)掛了把IP漂移到備節(jié)點(diǎn)不就行了嗎問題在于HDFS的高可用不只是“IP漂移”這么簡(jiǎn)單。NameNode的元數(shù)據(jù)分兩部分內(nèi)存中的鏡像fsimage和磁盤上的編輯日志edits。主備兩個(gè)NameNode要保證元數(shù)據(jù)完全一致必須持續(xù)同步編輯日志。如果主節(jié)點(diǎn)已經(jīng)寫了一條edits日志但還沒來(lái)得及同步給備節(jié)點(diǎn)就掛了備節(jié)點(diǎn)接管的元數(shù)據(jù)就不完整會(huì)造成數(shù)據(jù)丟失或元數(shù)據(jù)錯(cuò)亂。所以真正的HA方案要解決兩件事元數(shù)據(jù)的實(shí)時(shí)同步——主NameNode把edits日志實(shí)時(shí)寫入一個(gè)共享存儲(chǔ)備NameNode持續(xù)讀取并應(yīng)用這些日志保證內(nèi)存里的元數(shù)據(jù)基本一致。Hadoop采用的是JournalNode集群本質(zhì)上是把edits日志分散寫到多臺(tái)JournalNode上只要半數(shù)以上節(jié)點(diǎn)存活元數(shù)據(jù)就不丟。故障自動(dòng)切換——怎么讓集群里所有節(jié)點(diǎn)認(rèn)同“原來(lái)那個(gè)Active NameNode已經(jīng)死了現(xiàn)在應(yīng)該由Standby接替”這個(gè)決策必須由所有參與者一致認(rèn)可否則就可能出現(xiàn)兩個(gè)NameNode同時(shí)認(rèn)為自己是Active的情況這就是腦裂。這兩個(gè)問題Zookeeper都能解決或者說(shuō)只有Zookeeper這類強(qiáng)一致協(xié)調(diào)組件能優(yōu)雅地解決。ZK在HDFS HA里有三重角色選主仲裁兩個(gè)NameNode啟動(dòng)時(shí)向ZK注冊(cè)臨時(shí)節(jié)點(diǎn)誰(shuí)搶到鎖誰(shuí)就是ActiveZK保證只有一個(gè)贏家狀態(tài)存儲(chǔ)ZK保存當(dāng)前Active節(jié)點(diǎn)的標(biāo)識(shí)以及集群的命名空間信息分布式鎖與腦裂防護(hù)Active節(jié)點(diǎn)必須持續(xù)持有ZK上的一個(gè)分布式鎖一旦鎖丟了就得立即釋放所有資源并退位防止雙Active同時(shí)寫edits日志造成數(shù)據(jù)損壞。理解了這一層你就明白了為什么“hadoop和zookeeper整合實(shí)戰(zhàn)”不是單純的“裝兩個(gè)軟件然后配置上”而是一套完整的分布式一致性協(xié)作機(jī)制。3.2 HA整合配置的落地步驟實(shí)戰(zhàn)部分我用兩個(gè)NameNode、三臺(tái)JournalNode的典型HA拓?fù)鋪?lái)講。先規(guī)劃角色節(jié)點(diǎn)運(yùn)行組件node1NameNode, ZKFC, JournalNode, Zookeeper, DataNodenode2NameNode, ZKFC, JournalNode, Zookeeper, DataNodenode3JournalNode, Zookeeper, DataNode第一步確認(rèn)Zookeeper集群本身正常。每個(gè)Zookeeper節(jié)點(diǎn)上配置myid文件內(nèi)容分別是1、2、3然后在zoo.cfg里配置三個(gè)節(jié)點(diǎn)的地址和端口。啟動(dòng)后執(zhí)行zkServer.sh status看到其中一個(gè)顯示leader、其他兩個(gè)顯示follower說(shuō)明ZK集群健康。第二步配置core-site.xml。關(guān)鍵項(xiàng)是fs.defaultFS它必須指向一個(gè)邏輯名稱而不是某個(gè)具體節(jié)點(diǎn)configuration property namefs.defaultFS/name valuehdfs://mycluster/value /property property nameha.zookeeper.quorum/name valuenode1:2181,node2:2181,node3:2181/value /property /configuration這里的mycluster是一個(gè)邏輯名稱兩臺(tái)NameNode的地址會(huì)在下一步的hdfs-site.xml里映射到這個(gè)名稱上。第三步配置hdfs-site.xml。這是整合的絕對(duì)重點(diǎn)configuration !-- 啟用HA -- property namedfs.nameservices/name valuemycluster/value /property !-- 兩個(gè)NameNode的邏輯ID -- property namedfs.ha.namenodes.mycluster/name valuenn1,nn2/value /property !-- 兩個(gè)NameNode的RPC地址 -- property namedfs.namenode.rpc-address.mycluster.nn1/name valuenode1:8020/value /property property namedfs.namenode.rpc-address.mycluster.nn2/name valuenode2:8020/value /property !-- 兩個(gè)NameNode的HTTP地址 -- property namedfs.namenode.http-address.mycluster.nn1/name valuenode1:9870/value /property property namedfs.namenode.http-address.mycluster.nn2/name valuenode2:9870/value /property !-- JournalNode地址列表 -- property namedfs.namenode.shared.edits.dir/name valueqjournal://node1:8485;node2:8485;node3:8485/mycluster/value /property !-- 故障自動(dòng)切換實(shí)現(xiàn)類 -- property namedfs.client.failover.proxy.provider.mycluster/name valueorg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider/value /property !-- ZKFC參數(shù) -- property namedfs.ha.automatic-failover.enabled/name valuetrue/value /property property nameha.zookeeper.quorum/name valuenode1:2181,node2:2181,node3:2181/value /property /configuration這段配置的核心是qjournal地址。它是HA元數(shù)據(jù)同步的通道。所有edits日志都會(huì)同步寫入三臺(tái)JournalNode只要有兩臺(tái)成功落盤事務(wù)就算成功了。這就是為什么JournalNode必須奇數(shù)臺(tái)且至少三臺(tái)的原因——過半寫成功才能保證一致性和可用性。第四步啟動(dòng)順序與格式化。這里有個(gè)非常關(guān)鍵的細(xì)節(jié)很多人栽在這里。HA集群的格式化順序必須是先啟動(dòng)所有Zookeeper節(jié)點(diǎn)在其中一臺(tái)NameNode上執(zhí)行hdfs zkfc -formatZK在ZK中初始化HA狀態(tài)在一臺(tái)NameNode上執(zhí)行hdfs namenode -format生成初始元數(shù)據(jù)啟動(dòng)這臺(tái)NameNode讓它成為Active在另一臺(tái)NameNode上執(zhí)行hdfs namenode -bootstrapStandby從Active同步元數(shù)據(jù)啟動(dòng)所有JournalNode和DataNode最后啟動(dòng)Standby的ZKFC進(jìn)程。順序錯(cuò)了會(huì)怎樣如果ZK還沒就緒就去格式化NameNode格式化雖然可能成功但ZKFC注冊(cè)時(shí)會(huì)報(bào)錯(cuò)如果沒有先f(wàn)ormatZK就直接啟動(dòng)ZKFCZK里沒有對(duì)應(yīng)的HA狀態(tài)鎖自動(dòng)切換配置不會(huì)生效。這些都是我實(shí)際排障時(shí)見過的高頻問題。第五步驗(yàn)證failover是否真的生效。這一步極重要因?yàn)椤芭渲昧薍A”和“HA真的能切換”是兩回事。驗(yàn)證方法如下# 查看當(dāng)前Active節(jié)點(diǎn) hdfs haadmin -getAllServiceState # 手動(dòng)觸發(fā)一次故障轉(zhuǎn)移 hdfs haadmin -failover nn1 nn2 # 再次查看狀態(tài)應(yīng)該看到nn2變成active hdfs haadmin -getAllServiceState更狠的驗(yàn)證是直接kill掉Active NameNode進(jìn)程觀察ZKFC是否在幾秒內(nèi)自動(dòng)把Standby提升為Active。我在實(shí)際項(xiàng)目里都會(huì)做一次這個(gè)演練因?yàn)樗鼙┞逗芏嗯渲脤用娴碾[蔽問題。比如fencing機(jī)制沒生效時(shí)原來(lái)那個(gè)“假死”的NameNode可能會(huì)在網(wǎng)絡(luò)恢復(fù)后繼續(xù)請(qǐng)求寫edits日志導(dǎo)致數(shù)據(jù)不一致。生產(chǎn)環(huán)境里這種演練很危險(xiǎn)必須在維護(hù)窗口期做。3.3 整合中最容易翻車的細(xì)節(jié)第一個(gè)坑ZKFC進(jìn)程不是NameNode。我發(fā)現(xiàn)很多人SSH到節(jié)點(diǎn)上看HA狀態(tài)時(shí)只關(guān)注NameNode進(jìn)程是否存活忽略了ZKFC。但自動(dòng)切換的決策者是ZKFC不是NameNode本身。如果ZKFC掛了即使NameNode活著故障自動(dòng)切換也不會(huì)生效。所以監(jiān)控里一定要把ZKFC進(jìn)程納進(jìn)來(lái)。第二個(gè)坑quorum過半機(jī)制導(dǎo)致ZK集群自身可用性成為瓶頸。三臺(tái)ZK允許掛一臺(tái)兩臺(tái)掛掉整個(gè)ZK就不可用了。而ZK一旦不可用HDFS雖然還能繼續(xù)讀寫因?yàn)閑dits日志寫的是JournalNode不是ZK但故障自動(dòng)切換會(huì)完全失效。這是個(gè)很讓人迷惑的現(xiàn)象集群跑著跑著突然發(fā)現(xiàn)永遠(yuǎn)無(wú)法切換了查了一圈才發(fā)現(xiàn)是ZK集群只剩一臺(tái)活著的節(jié)點(diǎn)。第三個(gè)坑數(shù)據(jù)目錄權(quán)限問題。JournalNode的數(shù)據(jù)目錄dfs.journalnode.edits.dir和NameNode元數(shù)據(jù)目錄dfs.namenode.name.dir如果權(quán)限不是啟動(dòng)用戶格式化階段就會(huì)直接失敗。這在“數(shù)據(jù)目錄掛載了新磁盤”的場(chǎng)景特別常見——新磁盤掛載點(diǎn)是root用戶格式化時(shí)用hdfs用戶去寫直接Permission denied。4. 格式化、啟動(dòng)與元數(shù)據(jù)第一個(gè)大坑在這里4.1 namenode -format到底做了什么“Hadoop啟動(dòng)格式化失敗”能上熱搜說(shuō)明遇到這個(gè)坑的人不是少數(shù)。要理解格式化為什么會(huì)失敗得先知道它做了什么。hdfs namenode -format做的事情本質(zhì)上是對(duì)NameNode的元數(shù)據(jù)目錄做初始化創(chuàng)建目錄結(jié)構(gòu)在dfs.namenode.name.dir配置的路徑下創(chuàng)建current目錄、edits目錄等生成VERSION文件里面記錄了namespaceID、clusterID、blockPoolID等標(biāo)識(shí)生成初始的fsimage空集群的元數(shù)據(jù)快照。這些標(biāo)識(shí)太重要了。clusterID標(biāo)識(shí)的是整個(gè)HDFS集群namespaceID標(biāo)識(shí)的是命名空間blockPoolID標(biāo)識(shí)的是數(shù)據(jù)塊池。DataNode注冊(cè)到NameNode時(shí)會(huì)帶上自己理解的clusterID。如果DataNode磁盤上保存的clusterID跟NameNode當(dāng)前的不一致DataNode就會(huì)被拒絕注冊(cè)。“格式化失敗”的高頻原因總結(jié)起來(lái)就這幾類我給新手排障會(huì)照著這個(gè)表查失敗現(xiàn)象根因解決方式Permission denied元數(shù)據(jù)目錄屬主不對(duì)chown到啟動(dòng)用戶Directory is not empty之前格式化過殘留舊元數(shù)據(jù)確認(rèn)無(wú)價(jià)值后清空目錄或指定新目錄啟動(dòng)進(jìn)程秒退堆內(nèi)存參數(shù)不合理檢查HADOOP_HEAPSIZE / HADOOP_NAMENODE_OPTSjava.io.IOException: Cannot create directory父目錄不存在手動(dòng)創(chuàng)建目錄并賦權(quán)格式化和上電后DataNode找不到集群clusterID不一致要么備份后統(tǒng)一清空DataNode數(shù)據(jù)目錄要么手動(dòng)同步clusterID補(bǔ)充一個(gè)很容易忽略的細(xì)節(jié)格式化過程會(huì)輸出一行Storage directory ... has been successfully formatted但這只是針對(duì)這臺(tái)NameNode的存儲(chǔ)目錄格式化了。在HA場(chǎng)景下你只格式化了一臺(tái)NameNode的元數(shù)據(jù)存儲(chǔ)另一臺(tái)必須通過-bootstrapStandby來(lái)同步不能直接在第二臺(tái)上再執(zhí)行一次-format。如果你在第二臺(tái)NameNode上重新格式化了兩臺(tái)NameNode會(huì)生成不同的clusterID整個(gè)集群的DataNode都會(huì)因?yàn)閏lusterID對(duì)不上而拒絕注冊(cè)。這是我在生產(chǎn)環(huán)境見過最慘烈的一次事故大家務(wù)必引以為戒。4.2 啟動(dòng)失敗的三類場(chǎng)景與完整排查鏈路啟動(dòng)階段是故障高發(fā)區(qū)。下面這三類場(chǎng)景是我在幫人排查時(shí)遇到最多的。場(chǎng)景ADataNode起不來(lái)日志反復(fù)報(bào)“Incompatible clusterIDs”。DataNode啟動(dòng)時(shí)會(huì)比對(duì)本地存儲(chǔ)的clusterID和NameNode廣播的clusterID。為什么會(huì)不一致因?yàn)槟愀袷交^NameNode多次每次格式化都會(huì)生成新的clusterID而DataNode的數(shù)據(jù)目錄里還保留著上一次的clusterID。排查鏈路# 1. 看DataNode日志 tail -100 /opt/hadoop/logs/hadoop-hdfs-datanode-node.log # 日志里會(huì)出現(xiàn)類似 # Incompatible clusterIDs in /data/hdfs/datanode: # namenode clusterID CID-xxx # datanode clusterID CID-yyy # 2. 確認(rèn)兩個(gè)clusterID確實(shí)不一致 cat /opt/hadoop/logs/../dfs/name/current/VERSION cat /data/hdfs/datanode/current/VERSION # 3. 解決備份數(shù)據(jù)目錄后清空或者手動(dòng)改clusterID # 清空數(shù)據(jù)目錄注意確認(rèn)無(wú)未備份數(shù)據(jù) rm -rf /data/hdfs/datanode/current/*場(chǎng)景BNameNode進(jìn)程起來(lái)沒幾秒就退出日志無(wú)異常。這是最典型的資源問題。NameNode默認(rèn)堆內(nèi)存是1GB元數(shù)據(jù)一多就OOM。老手一般會(huì)在hadoop-env.sh里顯式設(shè)置HADOOP_NAMENODE_OPTS-Xmx8g。但這只是第一層你還要確認(rèn)NameNode所在的機(jī)器物理內(nèi)存夠不夠以及是否被其他進(jìn)程搶占了。我見過一個(gè)案例兩臺(tái)機(jī)器都裝了很多組件NameNode堆內(nèi)存給了8GB但機(jī)器總共只有16GB且JVM除了堆還要用堆外內(nèi)存和元空間實(shí)際占用超過物理內(nèi)存后系統(tǒng)開始瘋狂swapNameNode的響應(yīng)越來(lái)越慢最終被ZKFC判定為假死觸發(fā)切換。反過來(lái)另一臺(tái)機(jī)器也遇到同樣問題兩個(gè)NameNode開始反復(fù)互切整個(gè)HDFS的讀寫都斷了。場(chǎng)景C節(jié)點(diǎn)間通信失敗最隱蔽的是防火墻。Hadoop集群的節(jié)點(diǎn)間通信端口特別多NameNode RPC 8020、DataNode RPC 9866、ZK 2181/2888/3888、JournalNode 8485……有些企業(yè)安全基線會(huì)要求只開放特定端口于是你經(jīng)常遇到這樣一種情況進(jìn)程都活著服務(wù)看起來(lái)正常但就是連不上。排查鏈路很標(biāo)準(zhǔn)# 1. 先測(cè)基礎(chǔ)連通性 ping node1 telnet node1 8020 # 2. 如果通則看端口監(jiān)聽 netstat -anp | grep 8020 # 3. 如果監(jiān)聽正常但外部不通基本就是防火墻 systemctl status firewalld iptables -L -n # 或者云安全組的入站規(guī)則注意很多云廠商的安全組在控制臺(tái)上看起來(lái)放行了端口但節(jié)點(diǎn)內(nèi)部自身的iptables規(guī)則沒同步也會(huì)出現(xiàn)“控制臺(tái)顯示放行但實(shí)際不通”的詭異現(xiàn)象。檢查的時(shí)候兩邊都要看。4.3 元數(shù)據(jù)保護(hù)的經(jīng)驗(yàn)格式化、啟動(dòng)只是元數(shù)據(jù)話題的冰山一角。真正到了生產(chǎn)NameNode元數(shù)據(jù)就是你的命根子。HDFS元數(shù)據(jù)由兩部分組成fsimage是元數(shù)據(jù)的持久化快照edits是每次寫操作的增量日志。NameNode每次啟動(dòng)都會(huì)把fsimage加載進(jìn)內(nèi)存再重放edits里的增量事務(wù)。這里有個(gè)關(guān)鍵概念checkpoint。舊版Hadoop用SecondaryNameNode定期合并fsimage和edits把合并后的新fsimage傳回NameNode。但在HA架構(gòu)里這個(gè)角色已經(jīng)被Standby NameNode替代了。Standby節(jié)點(diǎn)持續(xù)從JournalNode讀取edits日志并應(yīng)用同時(shí)周期性執(zhí)行checkpoint生成新的fsimage。這個(gè)機(jī)制給運(yùn)維的啟示是不要對(duì)Standby NameNode做任何停機(jī)操作它正在承擔(dān)checkpoint職責(zé)。一停fsimage和edits的合并就會(huì)停滯edits會(huì)無(wú)限增長(zhǎng)最終可能把磁盤寫滿fsimage備份必須定期做。最簡(jiǎn)單的方式是把fsimage目錄掛到獨(dú)立的存儲(chǔ)或者用cron定期打包到一個(gè)安全位置數(shù)據(jù)盤和數(shù)據(jù)盤之間要物理隔離。NameNode的元數(shù)據(jù)目錄和DataNode的數(shù)據(jù)目錄放在同一塊磁盤上是災(zāi)難——DataNode磁盤寫滿會(huì)導(dǎo)致整個(gè)文件系統(tǒng)讀寫異常間接把NameNode拖掛。5. 生態(tài)整合完成之后日常運(yùn)維怎么排查問題5.1 先看日志再看監(jiān)控最后才碰配置這是我做運(yùn)維排查奉行的鐵律順序不能亂。很多人一遇到集群異常第一反應(yīng)就是懷疑配置錯(cuò)了開始翻配置文件、改參數(shù)。這個(gè)習(xí)慣很不好——配置在集群運(yùn)行期間被外部惡意改動(dòng)的情況極少更多時(shí)候配置沒變是某個(gè)運(yùn)行條件變了。正確的排查順序是先看日志定位現(xiàn)象再對(duì)照監(jiān)控找規(guī)律最后才去懷疑配置。Hadoop生態(tài)各組件的日志位置和重點(diǎn)我用一張表整理出來(lái)排查的時(shí)候照著看組件日志位置排查時(shí)重點(diǎn)看的日志NameNode$HADOOP_HOME/logs/hadoop-hdfs-namenode-*.log啟動(dòng)異常、元數(shù)據(jù)操作、checkpoint過程DataNode$HADOOP_HOME/logs/hadoop-hdfs-datanode-*.log塊上報(bào)、數(shù)據(jù)復(fù)制、磁盤異常ZKFC$HADOOP_HOME/logs/hadoop-hdfs-zkfc-*.log選主過程、鎖競(jìng)爭(zhēng)、腦裂防護(hù)動(dòng)作Zookeeper$ZK_HOME/logs/zookeeper-*.out會(huì)話超時(shí)、選舉日志YARN ResourceManager$HADOOP_HOME/logs/yarn--resourcemanager-.log調(diào)度日志、容器分配、隊(duì)列狀態(tài)YARN NodeManager$HADOOP_HOME/logs/yarn--nodemanager-.log容器啟動(dòng)失敗、本地磁盤管理拿一個(gè)我給朋友真實(shí)排查過的案例來(lái)講。某次集群突然變卡所有作業(yè)都在排隊(duì)。我第一反應(yīng)沒有去改YARN配置而是按順序查看ResourceManager日志發(fā)現(xiàn)隊(duì)列里全是ACCEPTED狀態(tài)的任務(wù)但CONTAINER一直創(chuàng)建不出來(lái)看NodeManager日志發(fā)現(xiàn)大量“Container killed on request”和“Local dir is full”字樣順藤摸瓜查磁盤使用率發(fā)現(xiàn)NodeManager的本地目錄所在分區(qū)使用率到了99%。根因根本不是配置問題是磁盤滿了。YARN在調(diào)度容器時(shí)發(fā)現(xiàn)本地目錄寫不進(jìn)去只能反復(fù)殺掉容器導(dǎo)致集群看起來(lái)是“卡死”實(shí)際上是“磁盤被寫滿后的自我保護(hù)”。清理掉日志和臨時(shí)文件后集群馬上恢復(fù)了。這個(gè)案例完美說(shuō)明了“日志定位現(xiàn)象”的價(jià)值。如果你一上來(lái)就懷疑隊(duì)列配置不對(duì)把隊(duì)列容量參數(shù)調(diào)來(lái)調(diào)去不僅解決不了問題還可能把原來(lái)正常的調(diào)度策略搞亂。5.2 資源層面的排查內(nèi)存、磁盤、網(wǎng)絡(luò)、連接數(shù)企業(yè)級(jí)運(yùn)維中資源和連接層面的問題占比最高我把高頻問題整理成速查表問題現(xiàn)象直接原因檢查方法作業(yè)提交后一直ACCEPTEDYARN隊(duì)列資源被大任務(wù)占滿ResourceManager Web UI里看隊(duì)列資源容器啟動(dòng)即失敗NodeManager本地目錄無(wú)空間df -h 查看NodeManager日志DataNode進(jìn)程消失文件句柄數(shù)超過系統(tǒng)限制ulimit -n / /etc/security/limits.conf大量連接進(jìn)入TIME_WAIT短連接過多端口耗盡ss -s 查看socket統(tǒng)計(jì)節(jié)點(diǎn)失聯(lián)NameNode報(bào)heartbeat timeout網(wǎng)絡(luò)抖動(dòng)或GC暫停過長(zhǎng)查看NameNode和DataNode日志時(shí)間線HDFS寫入超時(shí)數(shù)據(jù)目錄所在磁盤IO飽和iostat -x 1 觀察await值內(nèi)存這塊再展開一點(diǎn)。很多人只知道YARN有yarn.nodemanager.resource.memory-mb這個(gè)參數(shù)卻不知道它還分physical memory和virtual memory兩層限制。默認(rèn)情況下NM會(huì)檢查容器使用的虛擬內(nèi)存超過配置的yarn.nodemanager.vmem-pmem-ratio倍數(shù)后直接殺掉容器。這個(gè)比例默認(rèn)是2.1如果容器內(nèi)用了大量native內(nèi)存比如Python進(jìn)程、跑JNI的庫(kù)很容易觸發(fā)誤殺。日志里你會(huì)看到一行Container [pidxxx] is running beyond virtual memory limits遇到這種先別急著調(diào)大比例應(yīng)確認(rèn)容器是不是真的內(nèi)存泄漏確認(rèn)沒泄漏后再顯式調(diào)高yarn.nodemanager.vmem-pmem-ratio或關(guān)閉該檢查yarn.nodemanager.vmem-check-enabledfalse不推薦直接關(guān)。5.3 面試題背后的原理就是排查思路的底層邏輯熱搜詞里有個(gè)“hadoop面試題”我多說(shuō)兩句。大家準(zhǔn)備面試時(shí)背的那些題表面上是考概念實(shí)際上是在考你對(duì)系統(tǒng)運(yùn)行機(jī)制的理解。面試題和運(yùn)維排障是同一套底層的認(rèn)知模型。舉個(gè)例子。面試官問“NameNode掛了怎么辦”你會(huì)怎么答背出的答案是“HA自動(dòng)切換Standby接管”。但這背后至少要有幾層更深的認(rèn)知如何判斷NameNode“掛了”是進(jìn)程不存在還是ZKFC判定它心跳丟失如果是網(wǎng)絡(luò)分區(qū)導(dǎo)致的假活fencing機(jī)制怎么防止雙ActiveStandby接管后之前未提交的事務(wù)怎么辦答案在JournalNode的edits日志里客戶端怎么知道該連新的Active靠的是failover proxy provider里配置的邏輯名稱。這些問題每一個(gè)都對(duì)應(yīng)真實(shí)的故障排查場(chǎng)景。我在4.2節(jié)、5.1節(jié)講的案例本質(zhì)上就是在回答這類面試題。所以我不建議你死背面試題如果你能親手復(fù)現(xiàn)一次NameNode failover的全過程很多面試題不用背自然就會(huì)了。6. 從學(xué)習(xí)環(huán)境到企業(yè)環(huán)境的最后一公里6.1 開發(fā)環(huán)境搭建Windows與容器化實(shí)踐細(xì)節(jié)很多人在“windows下載hadoop”這一步栽過跟頭。Windows上裝Hadoop確實(shí)能跑但要改bin目錄下的winutils.exe要處理路徑分隔符、權(quán)限模擬等問題體驗(yàn)很折騰。我個(gè)人的經(jīng)驗(yàn)是Windows環(huán)境我只用來(lái)做三件事——看源碼、跑IDE代碼調(diào)試、連接遠(yuǎn)程集群測(cè)試客戶端代碼。真正的本地集群驗(yàn)證一律用Docker Desktop。在Docker里搭Hadoop時(shí)我常用這樣的參數(shù)組合docker network create --driver bridge hadoop-net # 啟動(dòng)一個(gè)NameNode節(jié)點(diǎn) docker run -d --name namenode \ --network hadoop-net \ -p 9870:9870 \ -v /data/hadoop/namenode:/hadoop/dfs/name \ -e CORE_CONF_fs_defaultFShdfs://namenode:8020 \ -e HDFS_CONF_dfs_namenode_http-addressnamenode:9870 \ -e HDFS_CONF_dfs_replication2 \ hadoop-docker-image # 啟動(dòng)兩個(gè)DataNode節(jié)點(diǎn) docker run -d --name datanode1 \ --network hadoop-net \ -v /data/hadoop/datanode1:/hadoop/dfs/data \ -e CORE_CONF_fs_defaultFShdfs://namenode:8020 \ hadoop-docker-image用環(huán)境變量方式傳配置是容器化部署Hadoop的一個(gè)實(shí)用技巧。Hadoop官方鏡像和社區(qū)鏡像大多會(huì)支持把xxx_yyy格式的環(huán)境變量自動(dòng)轉(zhuǎn)成配置文件里的屬性不用手動(dòng)進(jìn)容器改XML。這樣疊加Docker Compose一套三節(jié)點(diǎn)集群的啟動(dòng)腳本就非常清爽了。如果是“hadoop開發(fā)環(huán)境搭建頭歌”這類在線實(shí)驗(yàn)平臺(tái)我的建議是拿來(lái)練練手可以但別依賴。在線平臺(tái)幫你把環(huán)境都準(zhǔn)備好了你反而缺失了從裸機(jī)搭建、遇到問題再解決的過程。而這個(gè)過程才是進(jìn)階的關(guān)鍵。真正區(qū)分“會(huì)用”和“懂”的永遠(yuǎn)是你能不能從零到一搭出一套跑得起來(lái)的、你自己完全理解每一行配置的系統(tǒng)。6.2 用一次完整的故障演練檢驗(yàn)?zāi)闶欠裾娴倪M(jìn)階了最后分享一個(gè)我特別推薦的學(xué)習(xí)方法主動(dòng)制造一次故障然后嘗試自己修復(fù)。具體做法很簡(jiǎn)單。挑一個(gè)維護(hù)窗口在測(cè)試集群上按照下面這個(gè)清單一步一步來(lái)手動(dòng)kill掉Active NameNode進(jìn)程觀察集群行為看ZKFC能否在預(yù)期時(shí)間內(nèi)完成切換再kill掉一個(gè)DataNode進(jìn)程觀察HDFS的副本復(fù)制機(jī)制如何工作看剩余節(jié)點(diǎn)能否正常提供讀寫停掉全部ZK節(jié)點(diǎn)觀察HDFS的反應(yīng)——它不會(huì)立刻掛但你會(huì)發(fā)現(xiàn)failover功能失效了在YARN上提交一個(gè)超內(nèi)存作業(yè)觀察容器被殺的過程理解資源隔離的作用故意寫錯(cuò)一處配置比如把DataNode的目錄指向不存在路徑觀察啟動(dòng)失敗日志練習(xí)定位問題。這個(gè)演練的價(jià)值在于它逼著你在“沒有教程指引”的情況下面對(duì)真實(shí)故障逼著你親手翻開日志、比對(duì)狀態(tài)、修改配置。你會(huì)經(jīng)歷第一次恐慌然后學(xué)會(huì)冷靜最后建立一套屬于自己的排查直覺。我在帶人時(shí)發(fā)現(xiàn)一個(gè)規(guī)律愿意做這種演練的人面試時(shí)談吐和對(duì)系統(tǒng)的理解能力跟只刷教程的人完全不在一個(gè)量級(jí)。原因很簡(jiǎn)單——你對(duì)系統(tǒng)的信任感不會(huì)來(lái)自看了多少篇文檔而是來(lái)自你親手搞壞過它、再親手把它修好的次數(shù)。Hadoop這條路從入門到熟練中間沒有捷徑但也沒有想象中那么艱難。裝一套環(huán)境拆一個(gè)組件讀一段日志修一個(gè)故障每一步都算數(shù)。希望這篇沉淀下來(lái)的實(shí)戰(zhàn)經(jīng)驗(yàn)?zāi)茏屇闵俨葞讉€(gè)我已經(jīng)替你踩過的坑。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
欧美综合天天| 久久天天摸| 天天欧美欧美亚洲网| 欧美91网站| 五月天婷婷在线看| 天天综合AV| 午夜福利 成人 91| 亚洲午夜福利视频| 国产精品夜夜夜| 日韩激情啪啪啪| 嗯嗯啊啊的视频| 亚洲天堂中文字| 超碰 另类 欧美| 乱伦强奸区日韩| 神马视频久久久久久| 欧美激情精品| 中文字幕 码精品视频网站| 无码九九| 另类综合另类| 26UUU欧美日本| 啪啪91| 玖玖爱在线视频免费观看| 99热免费| 一区二区三区探花在线观看| 97国产综合欧美| 思思热免费在线视频| 欧美在线 亚洲| 精品v日韩欧美国产| 18禁久极品美女久久哦哟呀!| 久久无码成人| 97爱综合| 日日A∨| 国产欧美精选自拍一区| 亚洲国产亚洲天堂| 极品少妇99| 无码一区二区精品视频久久久春药 | 久久久九| 麻豆2区1区天美| 三级日本一区二区三区| 综合色拍| 蜜桃视频精品一区二区| 日韩黄色片子| 中出在线视频| 97高清啪啪| 亚洲 欧美 制服 另类 自拍| 欧美人妻制服| 91/欧美| 九九碰九九爱97| 亚洲精品97久久| 久久久99久9| 成人免费福利在线观看| 亚欧无码线免费观看视频| 伊人991| 欧美在线播放aaaa| 天天干天天操天天操夜夜操天天操 | 太久视频| 99久久无码| 国产精品国产| 一区二区偷拍拍视频| 精品三级在线专区| 久久久三区二区一区| 懂色AV一区二区三区| 家庭乱伦国产| 久久婷婷六月综合| 91丨九色丨国产丨人妻在线| 人伦四五区| 欧美制服另类丝袜| 色综合尤物| 在线日韩日本亚洲国产| 可乐操亚洲蜜911| 江都AV在线| 多乙久久久久久| 2019天天干| 曰韩少妇无码| 99re在线视频国产| 亚洲男人的天堂网| 激情综合av| 色婷婷电影网| 国产伦精品一区二区三区在线观| 日本人妻中文字幕精品| 中文字幕一二三| 操淫穴亚洲五月丁香| 加勒比在线视频| 亚洲AV成人在线| 韩国一级AAA| 日日干天天干夜夜爽| 欧洲熟妇xxXx欧美老妇裸体| 婷婷丁香九月| 萌白酱自拍视频| 中文字幕精品免费一区二区| 60秒不遮不挡| 精品国产乱子伦一区二区三区,精品一| 久久久久网站-538在线视频-欧美永久乱码| 成人资源中文字幕在线观看天天| 五月综合视频| 九九热九九| 无色无码| JIZZJIZZ国产精品喷水| 国产美女高潮叫床视频| 日韩视频啪啪| 啊v视频在线观看| 亚洲二区精品在线观看| 国产亚洲精品玖玖玖在线观看| A一区片| 欧美成人免费在线观看| 东京日日夜夜| 丝袜美腿诱惑亚洲欧美视频在线观看| 黄色性爱网网| 天天爽天天操| 国产suv精品一区二区四| 天天日少妇逼AV| 韩日精品四区| 人人人人人人少妇| 国产精品天美传媒| 中文字幕乱碼在线| 欧美日韩国产人人| 午夜精品久久久久久久久久久久久| 正宗无毛一线天嫩逼| 人人干人人搞人人摸| 日韩人妻一二三区视频| 大香网站| 亚洲中文字幕精品久久久久久直播| 18禁精品网站在线看| 狠狠色狠狠色狠狠五月| 色青青久久影视| 精品性爱一二三区| 九九亚洲| 亚爽爽爽爽爽爽爽爽| 亚洲视频,小说| 日本A级视频| julia ann久久| 大香蕉五月天| 97爱免费插| 国产视频一区二区三区久久亚洲天堂| 俞拍自拍| 精品福利| 亚洲古典另类欧美在线| 久久久人体| 午夜福利在线视频1000| chaopen97久久| 中文字幕欧美日韩三级| 欧美午夜视频免费观看| 亚洲中文字母在线播放| 大香蕉综合| 大香蕉琪琪日本女优不卡| 综合亚洲网| 天天激清| 青青草综合在线| 怡红院成人视频| 亚洲加勒比久久日本道| 亚洲精美粉嫩嫩泬在线观看 | 狠狠色噜噜狠狠狠狠2018| 久久一区二区高清免费| 欧美亚洲综合色| 激情欧美日韩女同久久| 91欧美色| 黄页网站免费高清在线观看| 久久精品一区二区三区不卡| 狠操91,com| 亚洲日韩国产精品| 午夜男人一级A片7777| 久久久99久9| 中文乱码字幕观看视频| 91狠狠综合久久| 国产精品4p在线观看| 九色在线熟女国产黑人| 亚洲欧美setu| 精品人妻一区二区三区在线视频不卡| 亚洲国产ⅴ高清在线观看| 超碰国产在线| 校园春色宗合网| 搡老女人老91二区| 欧美很很操视频| 97香蕉人人乳| 超碰91在线| 国产免费永久精品无码| 亚洲欧洲无码一区夜| 水多多映视AV| 99热色精品| 久久久草草精品| 国产怡红院| 欧美成人精品一区二区男人蜜臀| 亚洲第一狼人丝袜美女另类 | 亚洲第一精品在线视频| 亚洲宗合网| 国产91亚洲精品一区二区三区| 人妻乱仑一区二区三区| 久久久专区| 天天综合97| 免费精品99| 精品人妻视频一区二区在线播放 | 高潮毛片无遮挡高清免费| 婷婷色色五月天| 亚洲怡春院| 亚洲精品性爱片| 男人女人18禁片免费看网站| 午夜呻吟欧美| 久热一区二区| 蜜桃视频精品一区二区| 爱爱啊啊啊| 天天日日夜夜| 东京热男人的天堂| 殴美性色a级欧美| 婷婷爽人人婷婷爽视频| 91黑丝少妇| 97干97色| 超碰性爱97| 亚洲欧美天堂| 人人爱夜夜爱| 国产精品麻豆视频网站| 久久妇| 国产偷拍自拍在线视频| 大香蕉520| 超碰性爱97| 欧美成人一区二区| 操美女人妻| 国产精品一区二区三| 亚洲中文字幕日产无码久久| 久久大香蕉手机高清视频| 亚洲自拍欧美色综合| 韩国女主播青草福利视频| 99xav| 精品一区二区三区最新| 国产亚洲色停停久久99精品91| 夜夜操夜夜高潮夜夜爽国产精品区| 91综合网| 高清不卡一二三区视频......| 激情综合 婷婷五月 红杏| 日语五十路和六十路亚洲国产精品| 欧美性暴力猛交| 五月丁香六月| 精品美女人人干| 深夜福利黄片| 91夜夜蜜桃臀1区2区3区| 亚洲天天综合| 97视频在线免费看| 亚洲精品不卡一二三区| 国产精品高潮久久久无码| 久久99精品九九久久久婷婷| 欧美激情另类一区二区| 另类欧美色| 97色婷| 加勒比AV天堂| 亚洲精品三区在线观看| 97天天弄| 精人妻一区二区三区| 国产欧美日韩在线观看麻豆传媒公司| 免费观看网黄| 久久久极品| 超碰在线974| 最新日产中文在线麻豆| 亚洲九九九九| 蜜桃午夜视频一区二区| 色女99一级片在线观看| av天堂5| 凹凸视频在线一区二区| 丝袜加勒比| 中文字幕在线观看网页| 激情久久久| 殴美性色a级欧美| 伊人网青青| 亚洲av资源| 国产九区| 日韩二三区| 亚州操逼网| 日本孕妇一区二区视频操逼免费看 | 自怕偷自怕亚洲精品| 欧美日韩人妻精品一区二区三区| 色诱avtt| 精品无码久久久| 5278欧美一区二区三区| 99国产在线 精品 视频| yw尤物av无码点击进入麻豆| 无码粉嫩白虎一线天b区| 久久婷婷欧美| 久久久久亚洲一区女同性恋中文字幕| 欧美在线官网| 九九碰九九爱97| 久久成人午夜精品影院| 被窝影院午夜看片无码| 在线视频亚洲无码| 久久狠狠色噜噜狠狠狠狠97| 夜夜高潮夜夜爽| 日韩av乱伦| 国产女乱淫真高清免费视频| 亚洲精品性爱片| 91丝袜在线播放| 欧美熟女逼久久久久久| 久久只有精品一区二区三区| AV天堂丝袜| 午夜免费视频1000| 欧美躁死她一区二区| 国产熟女免费观看久久| av天堂精品久久| 99久久精品无码一区二区毛片免费| 加勒比综合88| 中文字幕三四五区| 无码二级三级| 欧美亚洲系列| 怡春院久久| 少妇熟女视频一区二区三区| 欧美,亚洲,日韩,v,天堂,手机在线观看| 男人干美女| 国产精品午夜成人福利| 韩日精品福利视频一区不卡在线免| 日韩欧美亚洲国产日韩| 久久婷婷色综合一区二区三区| 中文字幕在线日亚州9| www欧美性爱| 人成午夜免费大片| a久久| 五月婷婷综合网| 亚洲操人| 国产精品经典一卡久久久| 在现视频女上位好爽| 久9久| 三上制服丝AV| 蜜臀久久精品久久久久视频| 中文字幕诱惑制服人妻丝袜美丝袜美| 亚州综合图片| 久草色在线观看| 91爱网| A级片日韩欧美国产欧美视频精选观看| 大学生美女口爆| 欧美Ⅴ性爱| 91丨九色丨国产丨人妻在线| 人人操人人插人人摸人人干| 欧美自拍偷拍免费观看| 韩国一区二区精品亚洲| 97 国产一区| 吉川爱美亚洲二区在线 | www.国产高潮精品| 国产丝袜美女诱惑| 久久久久ab| 91处女在线视频| 97人人色| 99久久国产精品免费高潮| 久久国产熟女影院| 国产偷拍自拍在线视频| 97国产色综合| 亚洲图片在线| 国产综合色精品在线观看| 午夜a成v人电影| 亚洲啪啪性视频| 青青网三级视频| 午夜福利在线视频1000| 91天美免费| 老司机午夜精品视频| 青青伊人这里只有精品| 日韩欧美视频青青| 九九九九免费高| 九九九九精| 国产欧美一级在线观看| 啊啊啊好爽快点啊啊啊嗯嗯| 久久人妇| 97视频在线播放| 蜜乳AV一区| 久久人人妻| 色九九综合AV| 肉动漫无遮挡h在线观看| 国产精品999zyz| av优播| 秋霞福利网| 亚洲97在线| 精品亚洲国产成人精品| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 亚洲天堂人妻熟妇视频| 操一区| 97精品久久久久中文字幕| 992大香蕉| 日韩99精品视频综合区| 九九热超碰| 亚洲人综合| 自拍偷拍草一草| 天天做天天爽| 97久久超碰亚洲| 欧洲亚洲国产综合在线| 91女网站| 天天综合网日韩| 熟女乱伦二区| 精品国产乱码久久久影院| 欧美一区二区日韩三区| 无码人妻丰满熟妇奶水区毛片| 天天综合,91入口| 中文字幕aⅴ在线视频| 殴美日韩m| 国产乱子伦久久精品综合一区二区三| 青青草天天亲夜夜操网| 97欧美色| 国产极品一区二区三区三州| 色综合超碰超| 加勒比久久综合网高清| 日韩欧美天堂| 中文一区在线视频| 九九九热精品| 亚州AV无码国产精品| 亚洲欧美国产中文字幕| 欧美综合娱乐久久| 一区二区视频在看| 欧美综合97www| av在线免费一区二区| 超碰97极品9| 人妻久久久久久| 日本三级日本三级99| 一级性爱视频免费观看 | 97在线视频观看| 久久人妻视频网| 东京热综合久久一区二区| 国产67194| 色与欲影视天天看综合网| 插欧洲美女欧美精品| 亚洲色综网| 白嫩国模丰满一二三区| 人妻熟妇一区二区三区| 99激情| 久草午夜| 午夜天堂精品久久| 欧美人妻一区| 后入人妻无码| 精品四五区| 热99这里有精品综合久久| 亚洲乱熟女一区二区三区大香蕉| 校园春色AV天堂| 91狠| 丰满美女一级毛片在线播放| 99热这里只有是精品10| 国产精品无码AV网站| 久久国语| 五月婷婷六月丁香| 四虎国产精品永久在线囯在线 | 日本一级性爱| 麻豆天美传媒毛片| baiduhicn.com。| 91成人久久 | 麻豆一区二区三区精品| 性爱综合网| 成人午夜高潮av猛片| 伊人视频| 91 丝袜在线| 欧美日韩国产高清在线一二三区| 99热婷婷一区二区三| 丝袜喷水在线| 国产版a级片直播在线| 色妇综合网| 日本啊啊啊啊啊视频| 丁香九月激情啪| 九九九精品| 97精品在线| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 久久无码一区二区二三区性色| 中亚黄色三级大片| 欧美天天拍| 男女真人网18| 1769一区| 日本二三四区| 亚洲综合贴图91 | 日韩卡一卡二卡三在线| 亚洲美女av无码| 超碰69| 久久亚洲天天做| 无码国产精品午夜不卡( | 日韩 欧美 国产 麻豆| 婷婷香蕉欧美在线一区二区三区| 福利伊人玖玖国产| a男人的天堂久久一级A毛片| 国产麻豆91欧美一区二区久久婷婷国产精品| 无码一区二区三区四区五区六区七区八区九区十区视频 | 91宗合网| 伊人在线大香蕉视频久久| 91丝袜美女| 亚洲激情综合| 丁香五月婷婷五月| 殴美大黄片| 国产又黄又爽又刺激久久久久久| 污色区网站| 久久内射| 另类小说欧美激情校园春色| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 男人天堂2030| 97久久久久| 色香欲天天天天综合色| 日日夜夜青青草母狗| 久久久精品成人国产| 国语国产操逼伊人AV网| 国产日韩无码一区二区三区久久区| 91老司机视频| 亚州男人天堂| 国产激情视频在线观看| 国产www色在线观看| 色色色欧美| 手机在线中文字幕国产| 国产最火爆久久国产网站网站| 精品九九九九九| 成人线上超碰| 人妻在线臀日韩| 精品久久久久久亚洲| 色区久久| 日韩欧美视频青青| 日韩成人色图| 婷婷伊人一区| 美腿丝袜偷拍亚洲欧美| 大肉棒导航| 亚洲综合性网址| 欧美久久婷| 夜夜高潮夜夜爽| 久久视网78| 超碰综合色| 色香伊人| 干妹子| 青青草一本道福利视频| 97超碰欧美手机| 美女啊啊啊啊啊| 无码人妻1727| 国产亚洲精品精AV.| 影视综合无码少妇| 自拍鲍鱼一区在线高清观看免费| 操91| 吉川爱美98堂在线| 中文字幕人乱码中文字的预防方法 | 熟女高潮合集-永久久久-成人AV| 999综合色| 天天干夜夜操一区二区| 97亚洲精品超碰| 日韩亚洲欧美中文字幕| 色网在线视频观看免费| 精品一区二区成人动漫| 情色AV电影| 操操操操操操| 欧美操逼录像国产黄色国产| 成人国产视频在线观看| 国产女人高潮嗷嗷嗷叫小说| 激情五月天网| 人人爱夜夜爱| 久男人久久| 青青草福利视频| 日韩色欲久久一二三四区| 97啪啪| 中文有码第五页| 丝袜视频网国产90| a亚洲欧美色欲| 亚洲色图殴美色图激情乱伦| 校园春色之综合网| 亚洲综人| 亚洲av噜噜噜噜噜噜| 欧美精品99久久久**| 狠狠穞A片一區二區三區| 大香蕉 222| 熟妇高潮二区三区| 91春色| 久操精品网| 国精综合一二三区影视| 热热色中文无码| 自拍偷拍 日韩无码| 91狠婷| 日韩欧美天堂| 一区二区三区亚洲| 国产白嫩精品久久| 婷婷国产精品一区二区| 久久91精品国产9丨久久分亭| 欧美久久九九| 女人18精品一区二区三区| 免费视频在线一区二区不卡| 麻豆人妻精品一区二区| 亚洲日韩黑丝| 国产精品久久99日日| 久久久久骚| 色综合天天爱去电影网| 国产成人精品日本亚洲语言| 久热久| 欧美日韩黄片精品在线| 嗯嗯啊操我| 日韩探花精品在线视频| 日韩免费看在线黄色片| 久久99操天天日| 中文字幕精品亚洲熟女| yellow网站免费观看日韩高清无码| 久久久久精| 97免费在线观看| 五月丁香婷婷色| 2020中文字幕在线| 在线人人人人人人精品超| 国产又大又粗又色生活片亚洲国产精品成人久久久综合免费 | 国产精品午夜福利亚洲综合网| 射 色综合| 亚洲欧洲激情卡通另类文学四射小说网站 | 国产搭汕a级片| 欧美日韩中文亚洲v在线综合| 乱子伦一区二区三区国产精品| 中国操逼无码| 亚洲熟妇无码一区二区三区| 国产中文字幕在线点播| av大香蕉网站| 黄色av网站在线播放| 亚州色交| 13小男生GAY自慰脱裤子| 激情图片亚洲色图| 青娱乐福利99| 日韩美女高潮喷水视频| 亚洲精品免费中文字幕| 欧美亚洲20p| 在线免费观看日韩一区| 黄色一区三区| 激情视频网址| 91综合色噜噜| 精品一区二区三区四区女| 日韩性爱人人爱人人操| 自拍亚洲综合| 国产精品视频91久久| 婷婷激情四射| 美国一区二区免费视频| 日本东京热大香蕉a片| 亚洲加勒比久久日本道| 嗯啊啊啊轻点视频| 天天舔九色婷婷| 中文字幕在线第二页| 无码免费精品高清| 密臀视频三区免费网站| 思思热在线| 强被迫伦姧在线观看无码网站| 国产日韩人人| 性爱乱伦一区| 91网九色蝌蚪操熟女| 欧洲精品久久| 免费观看的av| 一起草日韩| 久久久九九| 五月天丁香欧洲日韩| 亚洲字幕一区二区| 综合网少妇| caopeng97人妻| 亚洲精品精品一区二区| 国产精品人妻免费精品| 亚洲s色图| 欧美乱色| 青青操狠狠撩| 国产无码精品成人| 超碰97综合网| 四虎视频在线观看| 这里只有精品视频| 在线观看AV片| 美女裸体无遮挡永久免费观看网站| 亚洲蜜臀懂色| www.99色| 风流老熟女一区二区三区l| 水滴偷拍| 青娱乐大香蕉| 色色色网站| 国产啊v在线免费播放| 欧美精品系列| 成人在线视频一区| 在线观看亚洲专区| 黄片免费日韩| 天天干人妻视频| 国产青视频| av天堂影视中文在字幕在线中文 | 欧美传媒一区| 99999无码| 草草网站影院白丝内射| w w w.久久精品| 亚洲精品黄码久久久久| 超碰综合色| 天美av在线观看| 日韩少妇一区二区三区| 欧美精品23| 国产在线观看一区二区三区| 99re在线视频这里只有精品| 亚洲男人天堂2016| 成人老鸭窝人人在线视频| 乱论91| 中文字幕日韩电影人妻| 亚欧成人一级片在线播放| 久久↗↗| 偷拍2020| 啊啊啊不要嗯嗯在线观看| 日韩丝袜人妻AV| 99综合视频一体| 强奸xx国产| 日本一级性爱| 日本三级R| 欧美精品1区2区3区| 免费精品人妻一区二区三| se吧提供国产乱老熟视频胖女人| 欧美成人免费在线观看| 色欲av国内精品久久久久久| 97av在线观看| 91肉丝| 日少妇视频| 久久六六| 操操操五月天婷婷丁香影院| 永久免费观看的毛片的网站| 一区在线精品中文字幕| 大肥女高潮bbwbbwhd视频| av中亚| 亚洲av噜噜噜噜噜噜| 一级性爱网| 黄人人操人人操| 国产乱色国产精品免费视| 国产精品盗摄 偷窥盗摄| 国产精品久久天天干| 日本熟女免费視颖| 十八禁的黄污污免费网站| 国产色呦呦| 五月丁香色色网| 亚洲成人在线播放| 中文一区二区婷婷视频| 久久一二三四不卡| 色哟哟av网址| 久久三区四区| 青娱乐二区免费| 老司机天天操| 中文字幕精品资源在线| 91爽啪| 天天综合网91入口| 啊灬啊灬啊灬啊灬高潮奶出了免费视 | 精品九九淫乱男| 亚洲天堂久久| 亚洲综合电影| 欧 美 自 拍 偷 拍| 偷窥自拍A片| 91oumei| 欧美大香蕉97| 少妇久久久免费| 久久香蕉国产线看观看亚洲女人 | 天天干天天日天天射黄色| 久久爽爽精品| 国产91 丝袜在线播放| 亚洲AV秘无码一区..| 久久肏大逼| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 一起草三级AV电影在线观看 | 91久久99久久91熟女精品| 日韩国产品视频中文字| 欧洲亚洲人人爽爽视频| 97K超碰在线| 一区二区免费电影久久| 久久久夜夜嗨免费视频| 亚洲精品丝袜| 99热在线只有精品| 岛国福利在线精品播放| 911粉嫩人妻| 久久亚洲天天做| 亚洲三级。日韩三级| 国产a片操逼| 丁香激情五月天| 97精品国产97久久久久久户外免费| 日本欧美色| 久久久久久久精| 伊人网青青| 婷婷色综合| 麻豆性爱视频在线播放| 九九九九九九视频| 亚洲国产成人综合碰碰三级经典| 99久久精品无码一区二区| 国产成人网站在线观看| 美女主播色欲91抠b在线播放| 久久岛国| 国产精品久久久久综合| 黄色不卡视频| 婷婷超| 超碰免费在线| 综合性视频99| 成人麻豆av电影网站| 亚洲欧美首页| 国产剧情AV不卡在线观看| 这里是精品| 丰满少妇一区二区三区免费看| 午夜无遮挡男女啪啪视频| 中亚精品极乱| 啊啊啊 在线| 国内偷拍精品一区二区| 久久综合九九| 国产日韩美女小穴视频网站不卡| 九九干| 黑人与人妻| 欧美v亚洲v综合v国产v妖精| 亚洲色图超碰在线| 中文字幕一区二区无码成人| 探花一区在线| 97爱碰| 日韩人妻制服丝袜av| 超碰97玖玖爱| 97超碰磁| 躁躁日曰躁2020| 干我久操| 天天看片麻豆| 91丨豆花丨熟女| 极品久久久久久久久久久久久久| 精品对白久久不卡| 首页亚洲国产高跟丝袜诱惑视频| 性欧美| 国产偷人妻精品一区二区在线| 日本不卡一二区| 91狠| 91在线欧美| 后入 亚洲 美女 射| 97综合网| 国产精品乱码久久久久久久久久久久| 中国操逼无码| 伊人国产视频| av强奸乱轮| 日韩色女精品| 日本精品第一视频在'| 久久精品99久久久久久| 日韩成人性爱电影在线播放| 久久久久深夜无码| 日韩三级一区 | 午夜福利在线合集| 亚洲成人性爱在线观看| 亚春色色| 天美AV片| 一本精品日本在线视频精品| 噜噜噜久久亚洲精品色情| av在线一区二区三区| 99这里都是精品| 五月婷婷基地| 人人操人人93| 色网在线| 国模精品娜娜一二三区| 人人妻人人澡人人爽人人精品浪潮| 91无人区卡一卡二卡三乱码入口最新版:能让用户有更多选择的选择-经典说说-爱 | 性爱乱伦视频免费| 亚洲综合色在线| 超碰人人在线| 成人怡红院| 97 国产一区| 亚洲国产婷婷在线播放| 天天操天天看| 色婷婷丁香五月| 欧美精品精品一区二区| 96久久久精品| 99性爱视频| 亚洲男人的天堂va亚洲男人社| 看看小穴| 3d成人精品一区二区| 熟妇人妻精品一区二区| 嗯~啊~快点 死我视频| 欧美亚洲尤物久久| 大香蕉狠狠爱| 九九拍拍精品视频在线播放 | 欧美在线干| 内射白嫩美女| 国产黄片在线免费观看| 亚洲色图亚洲| 大奶尤物鲍汁淫荡欧美视频粉嫩夜夜骚| 久久久久国产精品喷潮免费观看臀 | 91精品人妻一区二区-全集完整版免费正片国语-B02AV | 最新日产中文在线麻豆| V A在线| 中文字幕午夜精品久久久| 国产精品乱人伊人网| 色婷婷激一区二区三区 | 日韩毛片9| 国产视频三区四区| 日亚韩精品视频二区三| 国产精品99精品视频网站| 后入福利| 嗯嗯,好大,好爽,好骚| 熟女人妻一区二区三区| 亚洲天堂五月天国产| 人妻激情视频| 中文字幕女同在线| 大香蕉伊人网WWWn0n| 乱伦熟女区| 岛国在线一区二区三区| 精品人妻中文字幕高清| 91色欧美| 欧美最大综合网| 97硬碰| 日本久久久久久久久| 国产亚洲日本精品在线| 久久这里是精品| 久久久亚洲熟妇熟女| 91亚洲丝袜| 伊人国产av| 超AV色女| 欧美性天天影视| 99综合免费视频| 国产福利影视| 欧美爱三级日韩久久| 精…码一二三区| 清纯唯美综合| 91N综合网在线| 日韩av色图| 天天综合网在线| 91九九九馒头| 久久久久久久久久久久久久久性生活视频 | 老熟女91| 熟女人妻一区二区三区| 俞拍久久国应视频| 后入合集| 熟妇人妻丰满久久久久久久无码| 天天热精品| 人妻大相焦在线| 99re9这里只有精品| 久久最新免费视频23| 乱伦3P视频| 乱伦AVxx| 国产三级日产三级韩国三级| 免费簧片在线观看| 久久久久久电影| 国产乱伦性爱区| 国产精品无码av嫩草| 亚洲资源站| 久一区久久蜜桃| 97天堂| 欧美一区二区三区不卡高清视频| 亚洲男人电影天堂| 看日韩黄片| 韩国一级婬片A片无码天美| 隔壁邻居波多野结衣中文字幕 | 亚洲Av诱惑| 夜色91| 欧美组图日韩亚洲中文字幕| 自拍偷拍第26| 久久亚洲欧美中文字幕国语| 国产成人综合在线播放| 国产综合在线视频网站| 亚洲成人一区二区精品| 日韩人妻一区二区精品| 国产成人网址| 男人下部插入女人下部| 中文字幕在在线观看网站| 啊啊啊啊啊啊好湿好爽视频| 日韩噜噜69| 亚洲AV人人澡人人爱| 欧美激情 一区| 2019天天干| 亚洲欧洲综合成人av一区| 精品毛片久久久精品毛片| 国产欧美一区激情交| 六九九九| 91色爽欧美| 欧美桃色网| 亚洲久久久久| 国产不良强奸视频免费看| 亚洲精品中文字幕一区在线视频| 凹凸视频特色日本特黄| 啊啊啊啊啊啊啊国| 国模91| 97美日韩视频| 激情五月天插| 色色婷婷五月天| 日本熟人妻中文字幕在线|...久久国产精品-国产精品_日本一区二区三区中文字幕 | 天天爱天天操| 国产h小视频在线观看免费| 久久久久久一日韩字幕无码| 色香色欲天天综合网天天来吧 | 99人妻| 国产精品蜜乳AV| 亚洲天堂男人在线| 蜜臀av中字字幕网站| 丰满搜索结果 -第18页- 久久高清无码 | 天天日B夜夜干B时时操B| 丝袜内射| 亚洲色天堂九9| 精品国产乱码| 国产成人网| 中文字幕综合人妻| 国产一级内射高清视频| 婷婷五月天激情四射| 51一区二区三区| 熟妇熟女一区二三区| 97在线欧| 欧美日韩黄片精品在线| 天美传媒一二三区永久网站| 91在线/欧洲| 自拍偷拍草一草| 激情丁香五月| 国产精品午夜精品| 在线观看高清AV| 韩国久久97| 91操熟女视频| 色婷婷九月天天综合| 超碰97资源中文字幕| 男人的天堂一区| 超碰精品人妻狠狠干| 91第一页| WWW黄片COM| 日本一天色道久久久精品视频| 97干97色| 婷婷在线视频| 久久精品国产97欧美精品亚洲| 日日日日做夜夜夜夜无码| 亚洲熟女国产综合另类| 天天爽天天操啊啊啊| 青娱乐日韩无码| 亚洲熟久久| 亚洲 自拍偷拍 欧美| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 日韩午夜精品一区二区三区电影| Av色五月| 亚洲国产综合图区中文字幕| 久久人人爽爽人人爽人人片αV| 久久久久久久久久久久久久9999| 天天摸天天舔天天操| 国产精品第一页国产大屁股视频免费区| 中文字幕久热视频在线| 欧美一区二区情色| 蜜臀99久久精品| 黄色av片三级三级三级免费看| 欧美与日韩97| 久久无码电影| 久日91在线| 乱伦Av网| 91在线国产后入风骚翘臀美女素人| 草草影院最新网址| 少妇六月天| 国产高清成人免费视频| 欧美嫩性色| 偷拍 欧美 日韩| 国产自产91区13区| 天天干天天舔| 2017大香蕉国产精品久久| 国产亚洲精品精AV.| 夜夜综合| 日本激情免费大片| 96久久久精品| 曰韩av中文字幕专区| 久久伊人影院| 精品人人| 亚洲人综合19| 亚洲综合春色| 白嫩少妇| 国产熟女一区二区丰满| 久久人妻| 91色图片| 日日夜夜精品| 美国久久一二三四| 欧美性生活免费网| 欧美熟女激情| 第四色奇米影视777| 91女优在线观看 | 不卡中文字幕aⅴ在线| 亚州综合色图| 欧美日韩国产色图在线| 东京太热男人的天堂久久久| 青青草原狼av| 国产大学生口爆吞精合集| 精品国产综合久久福利,热99这里有精品综合久久,99热这里只有免费国产精品,精 | 亚拍在线| 99只有精品| 狠狠久久手机视频精品| 大屁股国产在线视频| 色欲天天综合网| 亚洲中文字幕熟女| 亚洲清纯唯美| 午夜天天碰综合视频| 无码国产Av| 天天干18禁| 久久久久久久久久久久久久久久9| 操逼逼福利视频| 超碰 国产熟女精品一区| 久久熟女人| 日韩精品免费高清视频在线| 91亚洲情色| 日韩精品电影| 天天操夜夜操| 少妇高潮特黄A片| 热99re69精品8在线播放| 91高跟美女在线播放| 激情看片网站| 亚洲无线码欧洲精品区别| 在线啊啊啊| 北京美女一区二区| 亚洲nv男人的天堂网| 国产精品亚洲一级av第二区| 免费视频一二三区| 天天日熟妇| 青青草视频久久久久| 国产一级不卡在线观看| 国产精品扒开腿做爽爽爽视频| 欧美激情久| 麻豆 欧美 日韩| 入口操逼网站| 亚洲男人综合| 久久精品超碰| 欧美熟妇亚洲版| 麻豆2区1区天美| 精品亚洲| 超碰偷拍| 天天干2区3区| 日韩黄色电影网站| 欧美激情性久久久久久| 精品人妻一区二区三区夜夜| 人妻少妇蜜桃视频欧美一区| 99热只有这里有精品| 可以在线观看的黄色网址| 啊啊啊啊啊啊在线观看| 久久国语| 亚洲一区二区专区-国产丝袜精品丝袜-成人AV | 欧美黄业| 欧美日韩婷婷中文| 男人的天堂在线有码| 五月丁香婷婷综合| 韩国一级婬片A片AAAAA| 亚洲国产成人精品久久久国产成人一区二区 | 亚洲精品97在线| av激情亚洲五月天| 美女黑人91神马| 久插综合| 欧美激情超碰777| 97爱免费插| 欧美色婷婷| 日韩无码专区| 爱做久久久久久| 岛国视频一二三区| 成人av毛片在线观看| 婷婷超| 久久神马| 2023天天操夜夜操| 亚洲自拍偷拍视频在线| 中文字幕人妻丝袜乱一区三区| 日本高清视频在线观看黄已三辽| 亚洲系列欧美| 玖玖爱伊人玖玖爱| 久久国产对白激情浪潮| 日韩AV中文字幕电影| 国产夫妻一区二区| 精品免费一区二区三区在线亚洲人成 | 欧美性暴力猛交XXXX| 亚洲美欧999| 欧美日韩大陆黑人少妇99| 亚洲欧洲久久天堂| 日韩二三区| 日产中文字幕2020| 伊人久久久日韩一区| 久久久久9999妇女| 亚洲黄色网址| 96免费视频在线| 色综合加勒比四四季| 久草婷婷| 久久视频,这里只有精品 | 中日韩欧美精品无码AⅤ一区二区| 免费强奸av| 91婷婷| 天天影视综合网欧美精品| 99爱久久视频频| 天天天乱色综合全| 2017大香蕉国产精品久久| 亚洲大色鬼| 久久久久久久91| 黄色免费网| 久久久久久亚洲中文| 亚洲第一无码播放立川理惠| 99精品在线| 强奸少妇AV导航网| 裸体美女久久久| 啪啪啪男女亚洲中文字幕99| 久操免费观看| 老司机午夜精品视频| 国产黄片在线免费观看| 女人爽到高潮潮喷18禁网站| 国产免费一区二区在线A片视频| 六月婷婷激情| a人欧美综合天堂麻豆| 亚洲极品| 欧美爱爱97| 乱伦Av网| 91麻豆天美国产欧美| 97超碰在线资源网站|