日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

分布式存儲架構(gòu)深度解析:從數(shù)據(jù)切分到容災(zāi)機(jī)制,構(gòu)建PB級可靠存儲底座

分布式存儲架構(gòu)深度解析:從數(shù)據(jù)切分到容災(zāi)機(jī)制,構(gòu)建PB級可靠存儲底座 1. 內(nèi)容整體設(shè)計與思路拆解1.1 “海納數(shù)據(jù)”背后的存儲困境拿到“霄云碧海分布式存儲”這個名字的時候我第一反應(yīng)是這家團(tuán)隊對存儲的理解確實(shí)有點(diǎn)東西。“霄云”對應(yīng)的是云上資源強(qiáng)調(diào)的是存儲系統(tǒng)在云環(huán)境中的適應(yīng)能力“碧?!睂?yīng)的是數(shù)據(jù)本身的體量和流動性海納百川。但真正讓我覺得值得拆解的是后面那句“海納數(shù)據(jù)釋放價值”。過去幾年我接觸過不少企業(yè)級存儲項(xiàng)目有一個感受特別深大多數(shù)企業(yè)的數(shù)據(jù)不是不夠多而是散。生產(chǎn)線上的工業(yè)數(shù)據(jù)在A系統(tǒng)里ERP里的結(jié)構(gòu)化數(shù)據(jù)在B數(shù)據(jù)庫里監(jiān)控視頻在C設(shè)備的本地硬盤里研發(fā)文檔在D同事的筆記本電腦里。數(shù)據(jù)一旦散落就談不上分析、談不上挖掘、談不上合規(guī)留存甚至連“備份”兩個字都是奢望。某次我陪一家制造企業(yè)做過一次存儲現(xiàn)狀摸底光是梳理數(shù)據(jù)資產(chǎn)就花了三周最后發(fā)現(xiàn)真正被有效利用的數(shù)據(jù)不到12%。這就是“海納”二字的痛點(diǎn)所在——先把散落的數(shù)據(jù)裝進(jìn)同一個池子里才有后續(xù)的一切。分布式存儲在這條鏈路上的位置非常微妙。往下要兼容各種硬件往上要支撐各種應(yīng)用中間還要把數(shù)據(jù)可靠性、性能、擴(kuò)展性三者平衡好。這不是堆幾塊硬盤、裝個開源軟件就能解決的事。霄云碧海這類產(chǎn)品真正要回答的問題是當(dāng)數(shù)據(jù)量從TB級漲到PB級應(yīng)用從單一業(yè)務(wù)擴(kuò)展到幾十個并發(fā)業(yè)務(wù)存儲系統(tǒng)能不能做到不推倒重來、不遷移傷筋動骨、不性能斷崖。1.2 為什么分布式存儲成了必選項(xiàng)我可以直接說結(jié)論單機(jī)存儲的天花板太低了而且低得越來越明顯。傳統(tǒng)存儲陣列不管是SAN還是NAS擴(kuò)展方式基本就是換更大的柜子或者再買一臺新設(shè)備。這個模式在數(shù)據(jù)量小的時候問題不大但一旦數(shù)據(jù)量上去兩個問題馬上暴露。第一是性能瓶頸控制器就那么多CPU和緩存后端磁盤數(shù)量再多也要排隊。第二是管理復(fù)雜度一堆獨(dú)立的存儲設(shè)備各自建池、各自管理、各自運(yùn)維數(shù)據(jù)在這臺設(shè)備上還是在那一臺上沒有人能說清楚。分布式存儲的核心思路是“把雞蛋分到多個籃子里但讓每個籃子看起來像一個籃子”。通過把數(shù)據(jù)切分到多臺服務(wù)器上同時保存多份冗余配合分布式元數(shù)據(jù)服務(wù)協(xié)調(diào)讀寫從邏輯上對外呈現(xiàn)一個統(tǒng)一的、無限的存儲空間。這就繞開了單機(jī)存儲的物理天花板你缺容量就加服務(wù)器缺性能就加SSD或加節(jié)點(diǎn)整個系統(tǒng)在線擴(kuò)容業(yè)務(wù)不中斷。“霄云碧?!边@類產(chǎn)品在架構(gòu)上走的是當(dāng)前主流的分布式路徑但據(jù)我了解它在幾個細(xì)節(jié)上做得比較有特色。比如小文件處理在視頻監(jiān)控、AI訓(xùn)練數(shù)據(jù)、海量日志這類場景里幾億個小文件會讓很多存儲系統(tǒng)直接崩潰它通過內(nèi)存索引合并、熱點(diǎn)數(shù)據(jù)識別等手段來處理這恰恰是很多開源方案的重災(zāi)區(qū)。再比如多協(xié)議互通同一個存儲池同時撐起文件、塊、對象三種訪問方式業(yè)務(wù)側(cè)不需要關(guān)心數(shù)據(jù)到底放在哪個協(xié)議層下面這在實(shí)際交付中能省非常多事。1.3 這個產(chǎn)品適合誰來用從落地場景倒推的話我接觸過的典型用戶大概分三類。第一類是數(shù)據(jù)量巨大且有持續(xù)增長壓力的企業(yè)典型如視頻監(jiān)控平臺、智能交通、平安城市這類項(xiàng)目動輒上千路攝像頭每天產(chǎn)生幾十TB數(shù)據(jù)要求存儲系統(tǒng)至少能穩(wěn)定跑五年以上。第二類是需要海量存儲同時不能停機(jī)的關(guān)鍵業(yè)務(wù)比如醫(yī)療PACS影像、金融票據(jù)影像、政務(wù)電子檔案數(shù)據(jù)不能丟、訪問不能停容量要隨業(yè)務(wù)增長平滑擴(kuò)展。第三類是大數(shù)據(jù)與AI基礎(chǔ)平臺這類用戶要的是存儲池直接對接計算集群數(shù)據(jù)讀寫的吞吐要跟得上GPU集群的“胃口”同時成本和運(yùn)維復(fù)雜度要可控。如果你只是個人或小團(tuán)隊數(shù)據(jù)量在幾十TB以內(nèi)坦白說沒有必要上分布式存儲一臺NAS加兩塊大容量硬盤就夠了。但如果你已經(jīng)感覺到“數(shù)據(jù)堆不下了”“擴(kuò)容太痛苦了”“機(jī)房里的設(shè)備越來越多但存儲空間還是不夠”那就應(yīng)該認(rèn)真考慮分布式存儲方案了。2. 核心技術(shù)原理與數(shù)據(jù)可靠性機(jī)制2.1 數(shù)據(jù)是怎么“切”開存放的分布式存儲的第一個核心動作就是“切”。一個文件進(jìn)入系統(tǒng)后會被切成固定大小的數(shù)據(jù)塊散落到不同的存儲節(jié)點(diǎn)上。切塊的大小是個學(xué)問切得太小元數(shù)據(jù)量會爆炸找一塊數(shù)據(jù)要問很多次元數(shù)據(jù)服務(wù)切得太大數(shù)據(jù)分布不夠均勻某些節(jié)點(diǎn)容易過熱。我見過不少方案把條帶大小定在4MB到64MB之間實(shí)踐中4MB在混合負(fù)載下表現(xiàn)比較平衡但也要看具體的文件大小分布。切完之后每個數(shù)據(jù)塊還要經(jīng)過哈希算法確定它落在哪些節(jié)點(diǎn)上。這里有個關(guān)鍵點(diǎn)不是簡單地把塊N放到節(jié)點(diǎn)N上而是通過一致性哈希的機(jī)制讓數(shù)據(jù)分布與節(jié)點(diǎn)位置解耦。好處很明顯——集群中某個節(jié)點(diǎn)掛掉或被移除時只有該節(jié)點(diǎn)負(fù)責(zé)的數(shù)據(jù)塊需要重新定位其他大部分?jǐn)?shù)據(jù)不動。這就把故障恢復(fù)的影響范圍控制到了最小。關(guān)于副本存放位置稍有經(jīng)驗(yàn)的設(shè)計會要求副本跨機(jī)柜或跨電源域分布。我見過一個實(shí)際事故案例某客戶的副本策略是默認(rèn)的簡單散列結(jié)果恰好兩塊副本落在了同一臺物理服務(wù)器的兩塊不同硬盤上。硬盤故障時數(shù)據(jù)還在但服務(wù)器主板故障時兩塊副本同時丟失數(shù)據(jù)永久損壞。這類教訓(xùn)我在這篇博文后面的故障排查章節(jié)還會細(xì)講這里先提醒一句買存儲可靠性策略一定要手工確認(rèn)別用默認(rèn)值。2.2 副本與糾刪碼魚與熊掌怎么選數(shù)據(jù)可靠性最直接的手段是多副本。當(dāng)前主流方案里三副本是默認(rèn)配置意思是一個數(shù)據(jù)塊同時存在三份拷貝任意壞掉兩份數(shù)據(jù)都還在。三副本的優(yōu)點(diǎn)是邏輯簡單、恢復(fù)快、讀性能好但代價是硬盤利用率只有三分之一——你買了90TB的硬盤實(shí)際可用只有30TB這在PB級場景下成本壓力非常大。于是有了糾刪碼Erasure Coding。它的思路類似于數(shù)學(xué)上的校驗(yàn)方程把數(shù)據(jù)拆成K份再根據(jù)這K份算出M份校驗(yàn)數(shù)據(jù)總共KM份散落在不同節(jié)點(diǎn)上只要壞掉的數(shù)據(jù)不超過M份就能完整恢復(fù)原始數(shù)據(jù)。最常見的配置是42或82前者允許任意2個數(shù)據(jù)塊損壞利用率仍然有66.7%比三副本省一半以上的空間。但糾刪碼不是免費(fèi)的午餐。它在寫入時要做額外的編碼計算讀取時如果命中的副本不可用需要從多個分片中重組數(shù)據(jù)性能開銷明顯高于多副本。所以我給你的建議是熱數(shù)據(jù)、核心生產(chǎn)數(shù)據(jù)用三副本保證讀性能和數(shù)據(jù)安全溫冷數(shù)據(jù)、備份數(shù)據(jù)、歸檔數(shù)據(jù)用糾刪碼追求空間利用率。霄云碧海的存儲池設(shè)計里對不同數(shù)據(jù)可以設(shè)置不同的冗余策略這一點(diǎn)在同類產(chǎn)品中做得比較靈活實(shí)際交付時非常有用。2.3 一致性哈希與數(shù)據(jù)均衡的靈魂分布式存儲的“靈魂”是數(shù)據(jù)均衡。均衡得好集群里每個節(jié)點(diǎn)的負(fù)載差不多磁盤壽命穩(wěn)定熱點(diǎn)不會輕易出現(xiàn)均衡得不好哪怕整個集群平均利用率只有60%某些節(jié)點(diǎn)已經(jīng)跑滿性能就開始抖動。一致性哈希是解決這個問題的經(jīng)典方案它的核心邏輯是把整個哈??臻g想象成一個環(huán)每個節(jié)點(diǎn)在環(huán)上占據(jù)若干位置每個數(shù)據(jù)塊根據(jù)哈希值落在環(huán)上對應(yīng)的節(jié)點(diǎn)上。這個機(jī)制優(yōu)秀的地方在于節(jié)點(diǎn)增減時只有少部分?jǐn)?shù)據(jù)需要遷移不會像簡單取模那樣幾乎全部數(shù)據(jù)都要搬家。但光有基礎(chǔ)的一致性哈希還不夠?qū)嶋H存儲系統(tǒng)里還要配合“虛擬節(jié)點(diǎn)”機(jī)制。具體做法是每臺物理服務(wù)器在哈希環(huán)上不是只放一個點(diǎn)而是放幾百個虛擬節(jié)點(diǎn)讓數(shù)據(jù)分布更均勻。同時后臺還要有均衡任務(wù)持續(xù)掃描發(fā)現(xiàn)某些虛擬節(jié)點(diǎn)的數(shù)據(jù)量偏離平均值超過閾值就自動觸發(fā)數(shù)據(jù)遷移把熱點(diǎn)數(shù)據(jù)搬到空閑節(jié)點(diǎn)上。這是需要長期打磨的活不是上線配置一下就完事了。我負(fù)責(zé)過的一個項(xiàng)目里存儲上線三個月后我還專門統(tǒng)計過各節(jié)點(diǎn)的磁盤占用率最大偏差不到3%分布式設(shè)計在數(shù)據(jù)均衡上做得好的系統(tǒng)確實(shí)能讓你少操很多心。2.4 數(shù)據(jù)中心容錯從單節(jié)點(diǎn)故障到機(jī)房級故障數(shù)據(jù)可靠性不能只在單個節(jié)點(diǎn)層面考慮必須層層往上推。單盤故障是最常見的說白了就是硬盤的機(jī)械結(jié)構(gòu)或電子元件損壞。這個層級靠RAID或者分布式副本就能扛住。節(jié)點(diǎn)故障比如服務(wù)器主板燒了、電源壞了、系統(tǒng)盤掛了這時候靠跨節(jié)點(diǎn)的副本或糾刪碼塊來恢復(fù)。機(jī)柜故障相對少見但一旦發(fā)生就是災(zāi)難級的比如機(jī)柜斷電、交換機(jī)整柜掛掉。機(jī)柜級的容錯要求副本策略設(shè)置時考慮機(jī)柜維度確保同一份數(shù)據(jù)的多個副本不會落在同一個機(jī)柜里。真正高規(guī)格的場景還要考慮機(jī)房級容錯。兩地三中心是比較經(jīng)典的配置生產(chǎn)中心和同城災(zāi)備中心再加異地災(zāi)備中心。霄云碧海這類產(chǎn)品通常也支持跨站點(diǎn)部署兩個或多個站點(diǎn)間的數(shù)據(jù)保持同步復(fù)制某個站點(diǎn)整體不可用時業(yè)務(wù)可以通過另一個站點(diǎn)繼續(xù)運(yùn)行。我可以很負(fù)責(zé)任地告訴你很多團(tuán)隊在存儲選型時數(shù)據(jù)可靠性的討論止步于“三副本夠不夠”但我見過的重大數(shù)據(jù)事故里真正出問題的往往不是副本數(shù)量不夠而是副本擺放位置不對、恢復(fù)時間太長、或者跨站點(diǎn)容災(zāi)配置不當(dāng)??煽啃栽O(shè)計是一個完整的鏈路任何一個環(huán)節(jié)掉鏈子其他的配置都白搭。3. 產(chǎn)品核心功能拆解與關(guān)鍵參數(shù)解析3.1 存儲資源池從“物理硬盤”到“邏輯空間”對一個存儲系統(tǒng)來說最核心的操作入口是存儲池。傳統(tǒng)存儲里你需要手動規(guī)劃RAID組、手動分配LUN、手動掛載文件系統(tǒng)每一層都要精確配置出錯了還要手動調(diào)整。分布式存儲把這一套簡化成了“資源池”的概念你把這批節(jié)點(diǎn)的磁盤全部交給存儲系統(tǒng)它自動把分散的物理空間聚合成一個統(tǒng)一的大池子你再從這個池子里切出若干邏輯卷或共享目錄分配給不同的業(yè)務(wù)使用。這里有個很關(guān)鍵的參數(shù)條帶寬度。它是每個邏輯卷的數(shù)據(jù)塊分散到多少個節(jié)點(diǎn)上的度量。條帶寬度越大單個文件的并發(fā)讀寫能調(diào)用的節(jié)點(diǎn)越多大文件性能越好但相應(yīng)地小文件場景下元數(shù)據(jù)開銷會上升。霄云碧海的默認(rèn)設(shè)置在通用場景下表現(xiàn)均衡如果你的業(yè)務(wù)是典型的視頻文件寫入可以調(diào)高條帶寬度來換取更高的大文件順序?qū)懲掏?。存儲池的配額管理也是實(shí)際使用中的高頻功能。生產(chǎn)環(huán)境里不同部門、不同業(yè)務(wù)共享同一個存儲池配額可以在邏輯層面做好隔離防止某個業(yè)務(wù)“吃”掉整個集群的容量。3.2 多協(xié)議互通文件、塊、對象的統(tǒng)一存儲傳統(tǒng)的企業(yè)存儲環(huán)境里每種數(shù)據(jù)都有自己專門的設(shè)備和協(xié)議文件數(shù)據(jù)用NFS/CIFS的文件存儲數(shù)據(jù)庫數(shù)據(jù)用iSCSI/FC的塊存儲海量非結(jié)構(gòu)化數(shù)據(jù)可能再單獨(dú)上一套對象存儲。結(jié)果是每種業(yè)務(wù)各搞一套存儲物理設(shè)備林立運(yùn)維成本居高不下。霄云碧海這個產(chǎn)品的設(shè)計思路是“一池多協(xié)議”。同一個存儲池你可以同時掛載NFS/SMB共享給文件工作負(fù)載通過iSCSI提供塊設(shè)備給虛擬化和數(shù)據(jù)庫通過S3接口提供對象存儲給互聯(lián)網(wǎng)應(yīng)用和備份軟件。數(shù)據(jù)在底層是同一個池子里的數(shù)據(jù)只是對外暴露的訪問接口不同。這種設(shè)計帶來一個很實(shí)際的價值不同協(xié)議的數(shù)據(jù)之間可以互相流動。比如某應(yīng)用通過S3接口寫入的數(shù)據(jù)另一套業(yè)務(wù)可以通過NFS直接讀取備份軟件通過iSCSI把虛擬機(jī)磁盤鏡像備份到對象存儲區(qū)域。數(shù)據(jù)不需要在不同系統(tǒng)之間拷貝來拷貝去一份數(shù)據(jù)多種用途省下的存儲空間和管理精力非??捎^。3.3 智能QoS與數(shù)據(jù)分級在多業(yè)務(wù)間找平衡多業(yè)務(wù)共享一個存儲池最怕的是“一顆老鼠屎壞了一鍋湯”——某個業(yè)務(wù)突然發(fā)起大量并發(fā)寫帶寬被占滿其他業(yè)務(wù)的延遲瞬間飆升。這時候就需要QoS服務(wù)質(zhì)量控制來約束不同業(yè)務(wù)的資源占用。QoS的本質(zhì)是給每個業(yè)務(wù)限定流量上限和優(yōu)先級。比如視頻監(jiān)控業(yè)務(wù)可以設(shè)置寫入帶寬不超過500MB/s數(shù)據(jù)庫業(yè)務(wù)設(shè)置高優(yōu)先級確保延遲穩(wěn)定測試環(huán)境設(shè)置低優(yōu)先級高峰期主動讓路。這個功能在分布式存儲里很重要因?yàn)橛卸鄠€業(yè)務(wù)共享底層資源沒有任何保護(hù)機(jī)制的話熱點(diǎn)應(yīng)用一上來整個存儲集群都會受影響。數(shù)據(jù)分級也是實(shí)際部署中的剛需。全閃存的性能好但價格高SATA大容量盤性價比高但延遲不行。霄云碧海支持在一個集群里同時管理SSD、SAS、SATA不同類型的磁盤并通過自動分層策略將熱點(diǎn)數(shù)據(jù)自動遷移到SSD性能層冷數(shù)據(jù)自動沉降到大容量層。對用戶來說業(yè)務(wù)訪問的始終是同一個邏輯空間感受不到分層的存在但成本和性能的平衡天然達(dá)成了。3.4 快照、克隆與遠(yuǎn)程復(fù)制數(shù)據(jù)保護(hù)的完整閉環(huán)數(shù)據(jù)保護(hù)和數(shù)據(jù)備份不是一回事。備份是把數(shù)據(jù)復(fù)制一份放到另一個地方快照是給某一個時間點(diǎn)的數(shù)據(jù)做一份“瞬間凍結(jié)的視圖”它幾乎不占用額外空間創(chuàng)建速度極快。一個典型的應(yīng)用場景是每晚定時給數(shù)據(jù)庫卷做快照然后備份軟件基于這個快照執(zhí)行備份業(yè)務(wù)不用停備份也不會把生產(chǎn)卷的性能拖垮??寺∈强煺盏难由焖鼊?chuàng)建一個獨(dú)立的、可讀寫的邏輯卷副本創(chuàng)建時同樣幾乎不占空間只有在后續(xù)寫入新數(shù)據(jù)時才逐步分配空間。測試環(huán)境需要一份生產(chǎn)數(shù)據(jù)的“復(fù)制品”時克隆是最省空間的方案。遠(yuǎn)程復(fù)制用于跨站點(diǎn)容災(zāi)。同城災(zāi)備的場景里數(shù)據(jù)同步復(fù)制的延遲通常在毫秒級別跨地域容災(zāi)場景里延遲會高很多一般會選擇異步復(fù)制業(yè)務(wù)數(shù)據(jù)先寫入本地再由系統(tǒng)異步同步到遠(yuǎn)端。這里有個容易被忽略的坑異步復(fù)制的RPO恢復(fù)點(diǎn)目標(biāo)不是零意味著極端故障下會丟失最后幾秒到幾十秒的數(shù)據(jù)。業(yè)務(wù)對數(shù)據(jù)丟失的容忍度直接決定你該用同步還是異步。3.5 監(jiān)控與告警體系別等故障照亮你的臉存儲系統(tǒng)最容易出現(xiàn)的一個狀態(tài)是“看起來一切正常實(shí)際上某個磁盤已經(jīng)悄悄報錯很久了”。我見過太多案例系統(tǒng)運(yùn)行緩慢業(yè)務(wù)投訴運(yùn)維排查一周最后發(fā)現(xiàn)是某塊磁盤的壞道率持續(xù)上升存儲系統(tǒng)一直在嘗試數(shù)據(jù)重建性能被拖垮。好的存儲產(chǎn)品必須提供足夠細(xì)粒度的監(jiān)控指標(biāo)。節(jié)點(diǎn)CPU、內(nèi)存、網(wǎng)絡(luò)吞吐、磁盤IOPS、延遲、隊列深度、每塊磁盤的健康狀態(tài)都應(yīng)該有實(shí)時曲線。霄云碧海在交付時通常會在管理界面預(yù)置一套常用的監(jiān)控看板但我覺得真正專業(yè)的做法是根據(jù)自己的業(yè)務(wù)特點(diǎn)再定制幾塊看板高峰期看延遲趨勢業(yè)務(wù)發(fā)布期間關(guān)注IOPS變化定期查看磁盤健康狀態(tài)。告警閾值也要因地制宜比如常規(guī)環(huán)境里磁盤延遲超過20ms才告警但如果是全閃存環(huán)境這個閾值就應(yīng)該壓到5ms以下。4. 實(shí)操部署與配置指南4.1 部署前的硬件規(guī)劃與網(wǎng)絡(luò)設(shè)計部署分布式存儲之前硬件規(guī)劃是最不能省的一步。節(jié)點(diǎn)數(shù)量建議至少3臺起步這是數(shù)據(jù)可靠性的底線。3節(jié)點(diǎn)環(huán)境下即使采用三副本策略任意一臺節(jié)點(diǎn)故障另外兩臺還能保留完整的副本數(shù)據(jù)不會丟失。如果只有2節(jié)點(diǎn)無論怎么設(shè)計總有一類故障會導(dǎo)致數(shù)據(jù)不可用——而“集群過半可用”的選舉機(jī)制也會因?yàn)橹挥?個節(jié)點(diǎn)而變得非常脆弱。每臺節(jié)點(diǎn)建議配置2塊系統(tǒng)盤做RAID1用來安裝操作系統(tǒng)和存儲軟件數(shù)據(jù)盤根據(jù)容量需求配置。網(wǎng)絡(luò)方面生產(chǎn)環(huán)境強(qiáng)烈建議部署獨(dú)立的存儲網(wǎng)絡(luò)與業(yè)務(wù)網(wǎng)絡(luò)物理隔離。IP地址規(guī)劃要預(yù)留充足管理網(wǎng)、業(yè)務(wù)網(wǎng)、存儲內(nèi)網(wǎng)、集群通信網(wǎng)至少規(guī)劃4個網(wǎng)段。我見過一個真實(shí)案例某項(xiàng)目圖省事沒有隔離存儲網(wǎng)絡(luò)存儲內(nèi)網(wǎng)和辦公網(wǎng)混在一起結(jié)果辦公網(wǎng)內(nèi)一臺中了病毒的機(jī)器瘋狂發(fā)包把二層網(wǎng)絡(luò)打滿存儲集群內(nèi)部通信超時、節(jié)點(diǎn)被頻繁判定為故障整個存儲癱瘓了兩個小時。這類問題一旦發(fā)生排障成本極高。規(guī)劃階段多花一天工后期能少熬半個月的夜。4.2 存儲池創(chuàng)建與冗余策略選擇部署完成后第一件事是創(chuàng)建存儲池。這里涉及幾個關(guān)鍵參數(shù)池名稱建議帶上業(yè)務(wù)標(biāo)識方便后續(xù)管理。冗余策略要根據(jù)數(shù)據(jù)重要性和未來數(shù)據(jù)量來權(quán)衡核心數(shù)據(jù)庫、虛擬化平臺建議選擇三副本機(jī)制備份歸檔、日志類冷數(shù)據(jù)建議選擇糾刪碼機(jī)制進(jìn)行空間優(yōu)化。條帶寬度和熱備策略一般保持默認(rèn)即可但我會建議把自動數(shù)據(jù)重建的并發(fā)數(shù)調(diào)低一點(diǎn)尤其當(dāng)磁盤數(shù)量和業(yè)務(wù)負(fù)載都比較高時重建并發(fā)過高會搶占正常IO。存儲池創(chuàng)建時可以指定允許的節(jié)點(diǎn)范圍。比如把SSD節(jié)點(diǎn)單獨(dú)劃為高性能池大容量SATA節(jié)點(diǎn)劃為歸檔池兩者物理隔離避免性能互相影響。對象存儲桶、文件共享目錄、塊設(shè)備卷的創(chuàng)建都是在池的基礎(chǔ)上繼續(xù)細(xì)分每一步的命名和配額規(guī)劃建議在創(chuàng)建前就確定好。4.3 QoS與性能調(diào)優(yōu)的平衡策略QoS配置的核心是根據(jù)業(yè)務(wù)優(yōu)先級和負(fù)載畫像來確定參數(shù)。視頻監(jiān)控業(yè)務(wù)的特點(diǎn)是持續(xù)寫入、帶寬占用高、允許一定延遲典型配置可以設(shè)置帶寬上限在500MB/s左右避免它在高峰期搶占整個集群的寫入能力。數(shù)據(jù)庫業(yè)務(wù)的特點(diǎn)是IOPS要求高、延遲敏感配置時應(yīng)該把優(yōu)先級設(shè)為最高并限定并發(fā)隊列深度保證延遲穩(wěn)定。測試環(huán)境這類非關(guān)鍵業(yè)務(wù)設(shè)置較低的優(yōu)先級和帶寬上限即可。性能調(diào)優(yōu)方面網(wǎng)絡(luò)參數(shù)的調(diào)整影響最直接。存儲內(nèi)網(wǎng)建議開啟巨幀MTU 9000可以顯著降低大塊數(shù)據(jù)寫入時的CPU開銷。塊設(shè)備隊列深度默認(rèn)值為128在高并發(fā)場景下可以適當(dāng)調(diào)高到256甚至512但要注意觀察底層磁盤的延遲曲線不要盲目調(diào)高導(dǎo)致延遲飆升。文件寫入緩存建議根據(jù)業(yè)務(wù)類型開啟或關(guān)閉數(shù)據(jù)庫類業(yè)務(wù)通常建議關(guān)閉寫入緩存避免極端情況下的數(shù)據(jù)丟失視頻寫入這類順序?qū)憳I(yè)務(wù)則建議開啟寫入緩存性能提升非常明顯。4.4 上線驗(yàn)證清單系統(tǒng)性檢查與長期巡檢上線前的驗(yàn)證不能只是跑一遍性能測試就完事。我自己常用的驗(yàn)證清單包括節(jié)點(diǎn)故障模擬測試是必選項(xiàng)拔掉一臺節(jié)點(diǎn)的網(wǎng)線或直接斷電觀察集群是否按預(yù)期觸發(fā)數(shù)據(jù)重建業(yè)務(wù)讀寫是否中斷。磁盤故障測試是在拔掉一塊數(shù)據(jù)盤后查看數(shù)據(jù)是否自動從其他副本恢復(fù)以及告警是否及時觸發(fā)。性能基線測試建議工具組合使用順序?qū)?、隨機(jī)讀、混合讀寫都要覆蓋記錄下基線數(shù)據(jù)方便后續(xù)做對比。上線后的巡檢同樣重要“日看健康、周看容量、月看性能、季看報告”是我的個人習(xí)慣。每日檢查節(jié)點(diǎn)健康狀態(tài)、磁盤告警、網(wǎng)絡(luò)丟包每周查看容量增長趨勢估算可支撐天數(shù)每月對比性能基線確認(rèn)是否有明顯劣化每季度做一次整體狀態(tài)報告檢查是否有節(jié)點(diǎn)負(fù)載失衡、數(shù)據(jù)分布不均等問題。這個節(jié)奏不一定適合所有團(tuán)隊但“定期巡檢、數(shù)據(jù)留痕”這個思路本身建議每個存儲運(yùn)維團(tuán)隊都建立起來。5. 典型應(yīng)用場景與選型建議5.1 視頻監(jiān)控與智能安防海量小文件與大流量的雙重考驗(yàn)視頻監(jiān)控領(lǐng)域是分布式存儲最典型的落地場景之一。一個中等規(guī)模的智慧城市項(xiàng)目上千路高清攝像頭每路每小時產(chǎn)生大約4GB的視頻數(shù)據(jù)一天的增量就是幾十TB。更麻煩的是視頻文件不僅大還切得非常碎——以5分鐘為一個文件段的話一天產(chǎn)生幾十萬個文件一個月就是上千萬個。這種文件畫像對傳統(tǒng)存儲是災(zāi)難。大量小文件的元數(shù)據(jù)操作會讓傳統(tǒng)NAS的性能斷崖式下降單目錄下的文件數(shù)量過多也會讓傳統(tǒng)文件系統(tǒng)的inode耗盡。霄云碧海這種分布式存儲通過內(nèi)存索引合并、目錄分片等技術(shù)處理億級小文件場景要輕松得多。再加上糾刪碼帶來的空間優(yōu)勢同樣是100TB裸容量分布式方案可用的有效空間比傳統(tǒng)三副本方案多出一倍綜合成本優(yōu)勢非常明顯。5.2 虛擬化與私有云底座塊存儲的穩(wěn)定性挑戰(zhàn)虛擬化平臺的存儲需求核心是“穩(wěn)”。虛擬機(jī)磁盤文件是隨機(jī)讀寫密集的負(fù)載存儲延遲稍微波動業(yè)務(wù)系統(tǒng)就會卡頓。虛擬機(jī)的創(chuàng)建、克隆、遷移都要依賴存儲的快照和克隆能力沒有這些功能虛擬化運(yùn)維效率會大打折扣。分布式存儲作為虛擬化底座的價值在于它天然支持橫向擴(kuò)展虛擬機(jī)數(shù)量增加、存儲壓力增大時加節(jié)點(diǎn)就可以了不像傳統(tǒng)存儲那樣提前糾結(jié)容量規(guī)劃。iSCSI是最常見的接入方式配合快照功能實(shí)現(xiàn)虛擬機(jī)備份配合克隆功能實(shí)現(xiàn)測試環(huán)境的快速復(fù)制。如果你在部署私有云存儲層面的靈活性和彈性建議作為一個核心考察項(xiàng)來評估。5.3 大數(shù)據(jù)與AI訓(xùn)練吞吐量與穩(wěn)定性的極限拉扯AI訓(xùn)練場景對存儲有兩層要求第一層是海量數(shù)據(jù)集接入時的寫入吞吐動不動就是TB級數(shù)據(jù)灌入訓(xùn)練集群第二層是訓(xùn)練過程中頻繁讀取樣本數(shù)據(jù)時的IOPS和低延遲。訓(xùn)練任務(wù)跑起來之后存儲IO稍有波動GPU的利用率就掉下來訓(xùn)練時長被拉長平臺成本直接上升。霄云碧海在AI場景的適配主要靠三件事一是多協(xié)議互通同一個存儲池可以同時通過S3對象接口向大數(shù)據(jù)平臺供數(shù)、通過NFS向訓(xùn)練集群掛載數(shù)據(jù)集二是QoS保障訓(xùn)練任務(wù)的存儲吞吐可以被優(yōu)先保障三是與計算集群的協(xié)同規(guī)劃通過合理的條帶寬度配置讓訓(xùn)練數(shù)據(jù)分布到更多節(jié)點(diǎn)上提升并發(fā)讀取能力。5.4 數(shù)據(jù)歸檔與備份大容量與低TCO的綜合考量歸檔和備份場景的特點(diǎn)是訪問頻率低、數(shù)據(jù)總量大、增長速度快。傳統(tǒng)方案通常是用磁帶庫或物理硬盤冷備管理復(fù)雜、存取不便。分布式存儲在這個場景下的優(yōu)勢是容量彈性大、協(xié)議兼容好備份軟件可以通過S3接口直接把備份數(shù)據(jù)寫入對象存儲桶到期后自動分層到歸檔池整個過程全自動。如果以TCO總體擁有成本來衡量這個場景建議重點(diǎn)關(guān)注糾刪碼配比和硬件選型。大容量SATA盤配合82糾刪碼能實(shí)現(xiàn)非常可觀的空間利用率。數(shù)據(jù)分級功能把近期備份保留在高性能層、歷史備份沉降到歸檔層性能和成本的平衡能達(dá)到比較理想的狀態(tài)。5.5 場景選型對照哪種需求最適合上分布式存儲場景數(shù)據(jù)特征分布式存儲優(yōu)勢推薦配置視頻監(jiān)控流式寫入、億級小文件元數(shù)據(jù)處理能力強(qiáng)、糾刪碼省空間三副本或42糾刪碼開啟寫緩存虛擬化/私有云隨機(jī)讀寫、延遲敏感多節(jié)點(diǎn)并行IO、快照/克隆齊全三副本高優(yōu)先級QoS大數(shù)據(jù)/AI大文件吞吐、并發(fā)讀取高吞吐、多協(xié)議互通三副本調(diào)大條帶寬度歸檔/備份低頻訪問、海量數(shù)據(jù)靈活分層、S3兼容82糾刪碼自動分層6. 常見問題與故障排查實(shí)錄6.1 節(jié)點(diǎn)故障后數(shù)據(jù)重建慢業(yè)務(wù)被拖垮有次做POC測試模擬了一塊磁盤故障數(shù)據(jù)開始自動重建。結(jié)果發(fā)現(xiàn)重建過程占滿了幾乎所有磁盤IO業(yè)務(wù)讀寫延遲從3毫秒飆升到200毫秒以上。問題出在重建參數(shù)的默認(rèn)配置上——重建并發(fā)和帶寬限制設(shè)得太高沒有給業(yè)務(wù)IO留空間。解法很簡單把重建速度限制調(diào)低比如將重建帶寬設(shè)為總帶寬的20%到30%并設(shè)置重建任務(wù)只在業(yè)務(wù)低峰期加速執(zhí)行。磁盤數(shù)量比較多的集群可以設(shè)置“故障域內(nèi)并行重建”但如果是小規(guī)模集群還是建議保守一點(diǎn)犧牲一點(diǎn)重建速度保住業(yè)務(wù)平穩(wěn)。這個原則在分布式存儲的運(yùn)維里非常重要任何后臺任務(wù)都必須考慮對前臺業(yè)務(wù)的影響。6.2 同一塊數(shù)據(jù)的兩份副本落在同一臺機(jī)器上這是我在某個客戶的集群里發(fā)現(xiàn)的嚴(yán)重隱患。表面上看集群配置了3副本策略數(shù)據(jù)應(yīng)該相當(dāng)安全。但深度檢查數(shù)據(jù)分布后發(fā)現(xiàn)大約有5%的數(shù)據(jù)塊有三份副本中的至少兩份落在了同一個物理節(jié)點(diǎn)上。也就是說一旦這臺節(jié)點(diǎn)整體宕機(jī)這些數(shù)據(jù)塊會同時丟失兩份安全性完全依賴于剩余的那份。排查下來發(fā)現(xiàn)是初始化部署時節(jié)點(diǎn)尚未全部加入集群早期寫入的數(shù)據(jù)按照當(dāng)時的節(jié)點(diǎn)拓?fù)渥隽烁北痉植己笃诠?jié)點(diǎn)擴(kuò)容后后臺數(shù)據(jù)重建和遷移并沒有主動糾正歷史副本分布問題。這個案例給我們的教訓(xùn)是容量和健康度之外副本分布也是巡檢時的重要檢查項(xiàng)。建議每季度做一次副本分布分析確認(rèn)所有數(shù)據(jù)塊的副本都均勻分布在不同的故障域內(nèi)。6.3 數(shù)據(jù)不均衡導(dǎo)致熱點(diǎn)節(jié)點(diǎn)性能時好時壞某客戶反饋存儲性能不穩(wěn)定業(yè)務(wù)高峰期延遲時高時低。排查后發(fā)現(xiàn)負(fù)載集中在一臺節(jié)點(diǎn)上這臺節(jié)點(diǎn)的磁盤IOPS接近飽和其他節(jié)點(diǎn)的利用率還不到40%。原因是業(yè)務(wù)側(cè)創(chuàng)建了一個巨大的存儲池池內(nèi)只分配了一個文件共享目錄所有業(yè)務(wù)數(shù)據(jù)都往這個目錄里寫數(shù)據(jù)塊的分配集中在部分節(jié)點(diǎn)上。解決思路是拆池和分散目錄結(jié)構(gòu)。我把已有的共享目錄按業(yè)務(wù)類型拆分成多個目錄掛載點(diǎn)同時把不同業(yè)務(wù)的數(shù)據(jù)目錄分散到不同的頂層前綴下讓數(shù)據(jù)塊的哈希分布更均勻熱點(diǎn)逐步被打散。分布式存儲雖然號稱自動均衡但業(yè)務(wù)側(cè)的目錄組織方式、邏輯卷規(guī)劃方式對最終的數(shù)據(jù)分布影響巨大。合理規(guī)劃目錄層級和掛載點(diǎn)數(shù)量是做好分布式存儲日常運(yùn)維的重要環(huán)節(jié)。6.4 網(wǎng)絡(luò)抖動導(dǎo)致節(jié)點(diǎn)被誤判為故障存儲內(nèi)網(wǎng)發(fā)生一個短暫的廣播風(fēng)暴某個節(jié)點(diǎn)跟集群其他節(jié)點(diǎn)之間的通信斷開大約10秒鐘。結(jié)果這個節(jié)點(diǎn)被集群判定為心跳超時觸發(fā)了數(shù)據(jù)重建流程大量額外IO瞬間涌入集群造成嚴(yán)重的性能波動。這類問題在分布式系統(tǒng)里很常見網(wǎng)絡(luò)質(zhì)量不穩(wěn)定集群就會頻繁觸發(fā)故障檢測和數(shù)據(jù)重建而每次重建都是額外的負(fù)載可能讓集群進(jìn)入惡性循環(huán)——節(jié)點(diǎn)被迫下線重建引發(fā)性能下降性能下降導(dǎo)致更多節(jié)點(diǎn)心跳超時。根本解法是網(wǎng)絡(luò)層面保證質(zhì)量存儲內(nèi)網(wǎng)務(wù)必使用交換機(jī)獨(dú)立VLAN并關(guān)閉不必要的廣播協(xié)議集群層面的心跳超時時間和重試次數(shù)也可以適度調(diào)大提高對短暫網(wǎng)絡(luò)抖動的容忍度。6.5 容災(zāi)演練中發(fā)現(xiàn)“備份”其實(shí)沒有生效我參與過某項(xiàng)目的容災(zāi)演練原計劃是把生產(chǎn)數(shù)據(jù)從主站點(diǎn)切換到災(zāi)備站點(diǎn)。結(jié)果演練一開始就發(fā)現(xiàn)問題災(zāi)備站點(diǎn)的數(shù)據(jù)落后主站點(diǎn)超過四個小時而且部分目錄根本沒有同步過去。排查發(fā)現(xiàn)遠(yuǎn)程復(fù)制策略只配置在了少數(shù)幾個核心卷上其他卷的復(fù)制策略要么沒配置要么配置后一直沒有觸發(fā)過完整同步。這類問題最好的解決方式是容災(zāi)配置完成后做一次全量校驗(yàn)確認(rèn)所有需要保護(hù)的數(shù)據(jù)都納入了復(fù)制策略每個月做一次增量校驗(yàn)確認(rèn)復(fù)制鏈路的延遲在可接受范圍內(nèi)。但最有效的還是每年至少做一次正式的容災(zāi)演練演練過程中才能真正發(fā)現(xiàn)配置是否生效、業(yè)務(wù)流程是否依賴了未被保護(hù)的數(shù)據(jù)路徑。7. 從TCO角度看分布式存儲是否值得投采購成本只是存儲總成本的一部分甚至不是最大的一部分。一個存儲系統(tǒng)五年內(nèi)的總擁有成本基本由采購成本、機(jī)房成本、運(yùn)維成本、業(yè)務(wù)中斷成本和數(shù)據(jù)丟失風(fēng)險五個部分組成。分布式存儲的優(yōu)勢在采購成本之外非常明顯機(jī)房成本方面同樣的有效容量分布式存儲加上糾刪碼之后需要的物理機(jī)架空間和功耗通常只有傳統(tǒng)三副本方案的三分之二。運(yùn)維成本方面分布式存儲的管理界面通??梢越y(tǒng)一管理幾百個節(jié)點(diǎn)相比管理同等容量的多套傳統(tǒng)存儲設(shè)備人力投入的差距是數(shù)量級的。業(yè)務(wù)中斷成本方面在線擴(kuò)容、節(jié)點(diǎn)替換不影響業(yè)務(wù)的能力在7×24小時運(yùn)行的環(huán)境里價值巨大。但分布式存儲也不是萬能解藥。小規(guī)模場景、超低延遲需求單次IO低于100微秒、強(qiáng)一致性要求極高的核心交易系統(tǒng)仍然需要認(rèn)真評估??傮w來說如果你的數(shù)據(jù)量在50TB以上且每年有30%以上的增長打算改造或新建私有云或者正在為某一個數(shù)據(jù)大類的存儲方案發(fā)愁我建議你把分布式存儲作為重點(diǎn)候選之一。回到“霄云碧?!边@個產(chǎn)品本身我有個直觀感受它能在這個競爭激烈的存儲市場站住腳靠的不是某一個炫技的功能而是把數(shù)據(jù)可靠、容量可擴(kuò)展、多業(yè)務(wù)共享、運(yùn)維簡單這幾件“基本功”都做得比較扎實(shí)。名字里說的“海納數(shù)據(jù)釋放價值”在真正生產(chǎn)環(huán)境中其實(shí)是靠每一個細(xì)節(jié)打磨出來的。別管名字多響亮到了機(jī)房最終看的還是那塊壞了盤能不能自動補(bǔ)上、業(yè)務(wù)高峰時延遲穩(wěn)不穩(wěn)定、五年后數(shù)據(jù)還在不在。最后分享一個小經(jīng)驗(yàn)評估任何存儲產(chǎn)品別只看廠商提供的性能測試報告一定要自己在真實(shí)業(yè)務(wù)環(huán)境里做POC把你們最具代表性的負(fù)載跑上去把節(jié)點(diǎn)拔了測試故障恢復(fù)把容量寫到40%以上再看性能表現(xiàn)。分布式存儲最大的特點(diǎn)是“分布式”——不同產(chǎn)品的分區(qū)、均衡、故障處理機(jī)制各不相同紙上談兵完全看不出來只有真實(shí)環(huán)境的測試數(shù)據(jù)才靠譜。這也是我作為長期跟存儲打交道的人能給同行最實(shí)在的一條經(jīng)驗(yàn)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
ji熟女.com| 夫妻四区五区六区| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 亚洲制服aⅴ中文字幕| 玖玖在线视频| 青青草大香蕉视频| www.色综合| 青青草国产一区二区三区| 97超碰免费人人性爱| 欧美在线亚洲| 五月丁香久久| 97Ai亚洲| 69人妻人人揉人人躁人人精品| 91插B网站| 日韩色| 亚洲熟女乱熟乱熟妇综合网二区| 1000部熟女视频在线观看| 亚州色图第三区| 中文字幕视频二区| 成片免费观看视频大全| 人人摸人人舔一区二区| 免费精品人妻一区二区三| 久久的网站啊啊啊啊啊| 三上悠亚在线毛片91| 男女啊啊啊啊啊| 色欲日韩欧美在线一区| 另类图片五月天| 亚洲第一成人影院色播| 青青草在线视频播放器| 东京太热久久久| 黄片www视频免费| 操人妻少妇中文| 欧美加勒比| 天天插天天干| 亚洲AV无码乱码| 日本精品人妻少妇一区二区| 国产精品日本无码A片| 一区二区三区网站日日骚| 伊人久久AV诱惑悠悠| 新版天堂中文资源8在线| 国产精品一区在线播放| 丁香婷婷九月| 欧美日韩资源| 激情一区二区| 久久大香蕉手机高清| 欧美日韩1234| 欧美 精品国产制服第一页 | 夜夜高潮夜夜爽高清视频一| 老熟女搡BBBB搡BBBB视频| 物尤视频一区二区| 亚洲高清国产理伦片| 色哟哟av网址| 日本性爱网址| 91欧美综合| 精品熟女一区=区三区| 97超碰碰| 人人搡人人肉久久精品| 五月天精品| 高清国产精品福利网站| 亚洲骚男同com| 五月丁香色婷婷| 97AV在线观看| 久久超碰98| 久久久国产成人一区二区三区在线| 国产成人资源| 狠狠干妹子| 97ai亚洲| 国产av青草| 午夜男人av| 欧美综合自拍亚洲综合图| 激情综合色| 四季AV综合网址| www.伪伪| 最新制服中文第一页| 日韩99神马视频播放片在线播放| 人人做天天爱| 96久久久久久久| 蜜奶av| 日欧操屄视频| 1024人妻熟女一区二区三区| 亚洲欧美人妻| 玖玖资源视频一区二区三区| 97干色天堂| 国语精品内射在线观看| 玖玖爱在线视频免费观看| 亚洲熟女一区| a亚洲欧美色欲| 国产后入清纯| 超碰97欧美日韩| 99九九精品| 思思视频免费看网站| 超碰欧美COM| 另类亚洲图色| 午夜精品久久久久久久男人的天堂| 日本1区2区不卡视频| 极品美女嘿咻| 208天天久久九九九| 最新中文字幕av| 天天干美少妇一区| 九九久久精品| 色吧五月| 丁香九月婷婷| 日韩激情中文字幕有码| 一二三四视频中文字幕在线看| 91美女精品| 国产妇女精品视频青青草| 黑操B| 欧美宗合网| WWW美腿丝袜香蕉中文| 日韩精品99久久久久久中文字幕| 偷窥自拍亚洲色图| www.婷婷| 亚洲操人| 欧美成人黄网色网站| 国产视频一区二区三区在线免费观看 | 欧美亚洲中文| 99久草| 伊人久大| 91超碰在线观看| 熟女精品一区二区在线观看| 天天内射| 91在线/欧洲| 久久精品国产72国产精品福利| 精品乱码在线观看| 国产精品午夜高潮呻吟久久av| 天天干,夜夜爽| 久操不卡视频| 超碰国产精品无码| 久久国内| 日日碰狠狠添天天爽超| 国产成人无码网站在线视频| 自慰白浆在线观看| 丁香五月激情婷婷| 韩国一级做A片免费的| 亚洲日韩美国人妻| 久久久久久国产无码精品| 后入式免费视频| 在线观看视频91| 久久久久免费少妇| 91一起操| 一区在线观看中文字幕| 曰本道人妻久久久在线不卡色视频 | 无码九九| 五月色网| 东京热亚洲一区二区| 亚洲精品日韩国产欧美| 国模吧 一区二区三区| 岛国在线一区二区三区| 蜜乳AV一区| 精品成人亚洲午夜电影| 亚洲国产日韩欧美熟妇在线| 超碰97起碰| 久热色情精品| 黄资源| 欧美性天天影院| 999日韩中文精品观看视频。| 天天爽天天操| 国产精品色色| 久久夜黄色无码A级大片| 99re不伦| 乱码人妻一区二区三区| 青青欧洲黑| 任你干在线视频| 久湿久久| 青青草好吊色| 亚洲天堂中文字| 秋霞曰韩R级| 偷窥自拍亚洲天堂网爆| 高清有码一区二区| 欧美高清无码免费视频高清版| 免费视频在线一区二区不卡| 中文字幕高清精品一区| 日韩大香蕉AV影片| 极品销魂美女一区二区| 日本精品高清一二区一本到| 久久久久久大| 国产91丝袜 在线播放| 中文在线久久字幕| 999精品久久久久久久| 精品国产Av无码久久久亚洲| 亚洲AV永久无码一区仙野| 大屁股熟女一区二区三区| 情色AV电影| 国产 v乱码一区二| 国产精品午夜福利亚洲综合网| 亚欧Av| 日韩中文字幕宗合在线| 久操操AV电影| 色综合天天| 欧美性性性| 97欧美久久久久久久| 交换娇妻呻吟声不停中文字幕| 91精品老女人| 国产日韩精品人妻久久久久色欲网站| 久久婷色| 另类图片亚洲加勒比另类图片亚洲加勒比另类图片亚洲加勒比 | 日本精品人妻少妇一区二区| 久久久久网站-538在线视频-欧美永久乱码 | …中文字幕亚洲乱,97人妻无码费视…| 久偷拍欧美日韩三区| 天天综合网~91综合网| 亚洲国产精品久久AV| 亚洲欧洲精品视频发布| 色女99一级片在线观看| 后入人妻无码| 神马久久午夜| 综合久久中文字幕综合日韩精品| 日本啊啊啊啊啊视频| 亚洲素人综合| 日本一片一区| 日韩,欧美,中文在线| 国产精品蜜乳AV| 人人天天干干| 久久蜜桃一区二区| 黄页av| 婷婷五月天成人网| 亚洲aV性爱| 亚洲美女30b| 精品天堂| 91日日夜夜| 色五月激情综合网| 中文字幕97色| 天天射,天天操,天天爽-国内精品一区二区三区-成人AV | 久久久久久国产精品| 久久久久免费少妇| 91天天综合在线观看| 欧美国产精品| 中国小夫妻勾搭露脸淫荡对白| 精品午夜福利| 日本一本一区二区三区四区五区欧美日韩中文字幕 | 日韩电影在线观看网址| 99啪| a亚洲欧美色欲| 日韩人妻精品久久久久| av2014 日韩在线中文字幕| 成人a大片在线观看| 日本不卡码黄色| 国产精品操| 狠狠爱综合网| 日韩啪啪视频| 亚洲天天艹| 综合久久99| 亚州色图欧美色图| 韩国一级婬片A片AAAAA| 麻豆色99999| 国产午夜激片Av毛片不卡| 亚州色图欧美| 欧美综合网| 天天射网| 中文字幕丰满子伦无码专区在线视频最新| 六月婷婷综合| 久久精品熟妇丰满人妻99| 久99热| 亚洲 欧美 第一页| 97视频在线免费看| 欧美性爱综合,免费| 五月天春色激情网| 国产精品白丝在线播放| 亚洲色图欧美另类在线| 十八禁的黄污污免费网站| 亚洲凸凹超碰成人| 日韩国产中文字幕| 97天天| 亚洲无码com| 欧美亚性天堂| 日本成人免费一区二区三区| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 久久久久斤小| 九九aV| 1240青青草一区二区三区视频天爱| 色激情五月天| 绯色一区二区三区不卡少妇| 极品粉嫩少妇视频| 2024人人操人人摸| 青青草中文字幕| 欧美性区| 乱伦3P视频| 一区二区三区一亚洲中文字幕、综合区灬| 97福利视频| 欧美色网| 天天情欲宗合网| 婷婷色婷婷| 99xav| 欧美日韩不卡a片| 亚洲图片在线| 东京热激情视频一二三区| 思思久热在线精品66| 麻豆影音天美视频| 青草av在线| 亚洲中文字幕在现观看| 91精品国久久久久久无码| 盗摄女人妻在线| 一区二区三区麻豆| 亚洲天堂人人妻| 国产精品久久成人免费| 久久久久9999| 亚洲脚交| 嗯嗯嗯,草死我| 手机在线人成免费视频| 精品一区二区三区国产| 久操在97| 富二代亚洲精品99| 亚洲欧美日韩精品久久久一区二区 | 超碰美女97| 亚洲18禁| 免费在线观看AV无码网站| 日韩久草| 欧美久久毛片基地| www狠狠| 久久精品无码专区| 精品二区三四区五电影 | 岛国片在线播放| 成人日本片久久久蜜桃| 99精品热| 日韩有码一区三区| 一起草精品人妻| 精品国产Av无码久久久伦古装| 九九九九97| 蜜色网色哟哟| 日韩性爱再线视频| 国产成人无码啪| 97在线免费看视频| 97精品人妻一二三四| 二级久久网| 人妻少妇色综合| 日韩 欧美 另类 人妻| 国产精品人妻无码久久久老鸭窝| 久久老熟女| 中国探花熟女| 天天躁日日躁AAAAXXXX国产| 99热这里都是精品| 国产成人精品一区| 久噜噜| 久久婷婷在线观看视频| 97视频在线免费看| 久久女人一区二区三区| 五月婷婷无码| 国产九月婷婷| 国产剧情一区在线观看| 99热在线观看| 五月色网| 久操热| 熟女字幕| 午夜精品久久久久久久99蜜桃一| 午夜激情成人在线观看| 一级AV性爱| 欧美亚洲首页| 九九九九精品九九九九| 91撸色网 玖玖网 欧美| 国产精品久久99日日| www.av家庭乱伦| 精品人妻一区二区三区四区不卡在| 久久久久久99999国产精品| 欧美日韩亚洲五月天婷婷| 天堂а√在线最新版在线| 天天看夜夜看日日干| 亚洲欧美校园| 久久久啊啊啊| 噜噜噜无码AV一级一级久久影院| 少妇蜜汁| 日本狠狠干| 九九热精品在线| 超碰偷拍| 欧美综合第一| 高跟伊人julia ann| 亚洲淫乱骚妇AV| 日韩情色视频| 亚洲丝袜色图| 欧美人妻色| 好屌色综合| 日韩不卡网操逼中文字幕日韩| 国产精品色色| 中文字日本乱码| 午夜福利在线视频1000| 人妻黑丝袜电影| 超碰久在线天天做| 78精品| 亚洲情色婷婷五月天| 亚洲人妻一区二区三区| 96AV久久久| 操逼999| 欧美偷| 色噜噜狠狠色综无码久久合欧美| 国产精品999aaa| 在线观看无码三级少妇| 97综合在线| 野狼激情网| 男女激情中文字幕| 亚州日韩97| 久久久三区二区一区| 夜夜做夜夜爽精品视频| 国产精品操| 亚洲av综合伊人久久| 乱伦Av网| www.狠狠干.coom | 日本五十路熟女一区二区| AV综合中文字幕干| 人妻激情偷乱视频一区二区三区 | 长长久久免费视频| 青草影院内射高潮| 日日操夜夜操天天操免费观看麻豆| 91n欧美| 国产精品日韩在线一区| 人人九九精| 一本久道久久综合狠狠爱一密臀精| 精品一区二区国产日韩| 欧美顶级黄片AAAAA在线免费看| 亚洲欧洲色情高清| 国产中文大片资源中文字幕| 97精品视频网站| 为用户提供免费看黄网址在线观看| 日韩精彩免费| 丁香七月婷婷| 新97国产超碰| 国内偷自视频区视频综合| 一区二区三区网站日日骚| 蜜臀一区二区三区亚洲最新章节在线观看 - 高清蜜臀一区二区三区亚洲全集播放 | 乱操乱伦AV| 亚洲另类久操网| 少妇熟女一区二区三区| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 无码国产精品午夜不卡(| 亚洲成人色情五月天丁香花| 操逼操网| 色综合天天爱去电影网| 97超碰色五月| 人妻啪| 日韩精品第3页| 人妻81p| 午夜操操操| 久热婷婷| 日韩有码 一区二区三区| 亚洲淫乱骚妇AV| 欧美黑人精品在线播放| 日本高清视频在线观看黄已三辽| 婷婷五月成人| 超碰色男人操熟女| 亚洲欧美综合图片| 人人爽夜夜操| 91干熟女| 日韩免费av片高清无码| 九草九九九| 麻豆天美国美国产| 国内精品久久人妻性色av| 国产视频一区二区三区久久亚洲天堂| 中文字幕久热视频在线| 女上位精品在线| 很很干很很操| 伊人九九九| 77国产精品| 免费av高清无码| 色与欲影视天天看综合网| 九九这里只有精品| 国产性久久久| 久久永久无码人妻视频| 超碰人妻中文在线| 久久免费精彩视频| 在线岛| 97 色综合| 欧美第二页午夜| 高潮内射在线| 婷婷丁香五月激情啪啪| 国产高清精品一区二区三区毛片| 熟人人妻少妇精品久久| 欧美乱妇狂野欧美在线视频| 91oumei| HEYZO高无码国产精品227| 精品免费一区| 欧美色亚洲色| 超碰精品人妻狠狠干| 毛片视频白嫩| 精品偷拍13p欧美dodk视频| 国产精品操| 玖玖综合视频| 福利五区| 肉丝无码中文高清| 国产精品久久久777| 婷婷五月天综合网| 色人久久| 熟女突然公开看18禁影片| 久热在线精品免费观看| 国内偷拍精品一区二区| 96麻豆精品一区二区三区| 黑人中出21连凳花野真衣| 久久99操天天日| 日本污ww视频网站| AV无码久久久精品| AA特级绝黄| 国产无码高清操逼视频| 黄色片A级一区二区三区| 精品视频一二三中文| 中文字幕乱妇免费视频| 日韩精品三级| 久久丝袜| 丰满人妻一区二区三区免费 | 亚洲另类小说卡通动漫| 极品欧美一区二区三区| 欧美一级在线观看成人| 欧美国产精品久久九九| 久久男人天堂| 色激情综合网站| 97日韩欧美| 欧美激情综合网| 夜夜嗨视频| 欧美日韩制服| 国产精品乱码久久久久| 精品无码久久久久久久久果冻糖心 | 色伊人91| 国产福利小视频高清在线观看| 久久久久久电影| 成人国产视频在线观看| 亚洲av性爱电影| 亚洲日韩精品久久久久一区壹牛| 亚洲欧洲自拍图片专区满春格 | 自拍视频大全亚洲专媒视频/一区二区三区| 国产欧美一区二区| 青青草伊人久久| 91女神在线视频| 天天日天天射天天干| 美女毛片999| 97亚洲国产| 蜜臀99久久国产| 性色A∨91| 欧美特大AA级黄片| 国产成人无码啪| 手机看片1025| 久久最新免费视频23| 欧美日本久久精品一区 | 少好三P| 啊啊啊啊免费视频| 国产二区三区免费视频| 人人摸人人入| 国产高清在线观看欧美| 六月激情网| 啊啊啊好湿久久| 激情黄色五月天| 91美女視頻| 久久9精品网站| 蜜臀久久久99久久久久| 色黄污美女啪啪啪免费网站| 成人性爱全视频观看| 五月天婷婷成人网| 综合久久99亚洲人妻中文在线| 亚欧美色图| 淫荡网址| 国产欧美亚洲精品a第2页| 在线观看黄色电话| 国产在线76页| 97伦乱| 国产美女在线精品免费看| 探花熟女,姿勢到位,體驗感也到位| 午夜男人一级A片7777| 国产农村妇女精品一二区| 免费网站观看www在线观| 久久久久久免费电影| 妇女乱色二区| 成人无遮挡毛片免费看| 国产无马视频| 欧美永久激情一区二区| 78m啪啪啪| 99在线无码精品秘 入口黑人| 国产一区二区三区中文字幕| 99热婷婷| 土豪酒店各种姿势玩弄极品幼稚| 小说区 图片区色 综合区| 国内精品伊人久久久久影院会| 夜夜嗷嗷一区二区| 国产99热| 欧美人人操人人插| 久久极品一区二区| 97在线日韩中文字幕| 美女91网| 欧美日韩性爱操大逼| 色性综合| 超碰在线免费一区二区三区| 国产 三级自拍| 91neishe| 欧美不在线| AAA久久| 欧美日韩97在线| 极品销魂美女一区二区| 操人91| 中文熟女五十乱码在线| 中文字幕精品一区二区精| 综合干干干av久久久综合网| 黑人猛交| 99久久com免费视频′| 天天天肏屄肏屄肏屄欧美欧美| 入口操逼网站| 欧美在线55555| 密臀视频三区免费网站| 草草网站影院白丝内射| 97干综合网| 国产成年免费大片黄在线观看| 操香逼| 男人女人18禁片免费看网站| caorenqi shipin| 婷婷性网| 日韩精品区二区三区不卡| 黑人粗大V S日韩女优视频| 思思热免费在线视频| 96国产污污污丝袜| 后入式免费视频| 熟女丰满人妻一区| 美女裸体无遮挡永久免费观看网站 | 日本Suv精品一区二区| 久操不卡视频| 91女日逼| 婷婷久草一区二区三区| 日韩精品资源| 韩国久久97| 国产白丝精品在线观看| 欧美综合色站| 亚洲第一狼人丝袜美女另类| 99精品丰满人妻无码| 国产AV高清AV无码| 美欧色综合| 日本一二区免费| 天天激情干| 1204金沙人妻懂旧版免费| 是还免费视频1727我| 国产欧美日韩精品中文| 精品国产a∨一区天美传媒| 999国产精品999| 人妻欧美| 久久久九九九九| 无码人妻精品一区二区三区99不卡| 日韩懂色网| 色欲日韩欧美在线一区| 国产精品久久久亚洲第一牛牛_在线观看| 91在线无码精品秘 软件| 9久久精品| 嗯嗯,好大,好爽,好骚 | 日本久久久精品电影| 色噜噜人妻丝袜a∨先锋影| 国产超碰欧美| 久久综合日韩亚洲欧美| 亚洲精品第一| 九久精品| 伊人少妇久久久| 秋霞视频一区二区| 国产成人拍国产亚洲精品| 看看日B真人视频| 操逼日韩无码 | 九九热免费在线国产视频伊人五月| 久操凹凸视频| 五月开心久久AV官网| 婷婷九月| 免费精品人妻一区二区三| 亚洲色人阁| 啊啊啊啊好疼视频| 99re这里只有精品3| 欧美精品久久久久久久久88| 国产视频97| 国模不卡一本二本三电影| 超碰久热| 93人人操人人| 欧美v亚洲v综合v国产v妖精| 色九九久九九| 精品人妻一区二区乱码一区二区| 五月丁香啪啪啪| 最新中文字幕在线亚洲| 大香蕉乱级| 亚洲综合色在线| 任我爽视频在线观看| 欧美日韩性爱精品| 中文字幕亚洲永久精品| 2024年最新色情网站在线观看| 亚洲少妇自拍中文字幕懂色| 中 文字幕一区二区三四 五 区日 日 骚 | www亚洲欧美| 久久久国产护士丝袜美腿一| 抽插爽| 九九九综合精品| 伊人成人中文字幕久久网| 亚洲av国产av综合av卡| 日韩av在线精品观看| 啪啪啪亚欧美视频| 变态综合色| 日韩成人小视频| 学生妹天天看| 国产在线精品电影观看| 亚洲精品一二三四区| 人人人人人人少妇| 婷婷在线播放| 日本人体九九九九九九| 亚洲激情久久| 依人大香蕉| 欧美亚洲日韩人妻在线观看| 九九碰九九爱97超碰| 狠狠干,狠狠操| 日本3级一区二区免费 | 国产成人午夜视频网址| 日本色色视频网站| 天天看精品动漫视频一区| 蜜桃av色偷偷av老熟女| 国产成人亚洲精品无| 欧洲久久一二线| 精品欧美老熟女一二区| 久久精品一区二区三区四区五区| 玖玖爱影院| 淫荡网址| 九九亚洲| 999日韩中文精品观看视频。| 亚洲 自拍偷拍 欧美| 综合五月婷婷亚洲一区| 免费观看的黄色的网站| 国产强奸超碰AV| 人妻精品视频一区二区| 狠狠操天天干| 亚洲天堂另类美腿| 中日韩久久人妻一区二区| 四虎AV影视国产精品亚洲精品| 青青草精品| 亚洲伊人久久精品影院| 亚洲天堂少妇| 国产精品熟女一区二区三区| 中文一区二区三区影院| 免费看黄片现成| 免费观看的黄色的网站| 欧美操逼熟女| 蜜桃臀一区二区三区久久| 中文无线日韩一区| 成人区人妻精品一| 91亚洲色图| 福利操逼| 手机在线看片免费人成视频| 丁香九月婷婷| 亚洲射综合网| 亚洲第一视频 欧美风情 日韩| 亚洲高清欧美总合| 成人免费视瓶| 一级久久性爱视频| 亚洲有码视频二区| 黄色片A级一区二区三区| 999久久久免费精品国产牛牛| 国产熟女完整版中字 | 啊啊啊啊操死我| 高清无码久操视频| 翔田千里爆乳巨臀无码| 男人的天堂一区三区| 久久久久久久久久久六六| 欧美白嫩女HD| 精品一久久久| 一区二区三区四区理论片| 99久久久久久亚洲精品不卡| 亚洲最大无码中文字幕网站| 日本精品人妻少妇一区二区| 330dv亚洲成年视频网| 凌辱美少妇久久aV| 一牛影视成人片免费| 伊人亚洲国产一成人久久精品,久久| 大香蕉十区| 亚洲图片视频小说| 国产精品女aA片爽爽视频| 8050无码八戒| 日产中文字幕2020| 人人摸人人舔一区二区| 亚洲一区日韩精品中文字幕| 欧美黄片视频在线观看免费| 99操| 91视频综合网| 99热自拍| 免费超碰97久久| 思思热在线视频免费| 色爱国产| 九九综合网| 欧美A片中文字幕| www.夜夜操| 9九九国产| 啪啪AV导航| 久久嫩草国产成人一区| 大香蕉99re| 精品一区二区综合熟妇| 天天做天天爱天天爽AV| 日本三级精品| 国产福利影视| 内射卯月麻衣| 国产又黄又爽又刺激久久久久久| 97最新在线播放视频| 白 大 人妻 区 在线| 日韩成人高清一区二区| 99综合网| 玖玖久久久| 9+1视频网址| 久久国语| 北约熟女超碰| 91丝袜美女| 国产深喉视频一区二区| 伊人久久88国产女| 97视频一区| 日韩999| 一区二区无码视频| 天天天天天干夜夜夜夜夜操| 欧美白嫩女HD| 69少妇一区二区| 青青草啪啪网| 不卡av在线中文字幕| 六月婷婷一区二区三区| 欧美一级特黄淫片在线观看| 人妻人人澡人人爽人人| 上海一级黄片| 亚洲色图伊人网| 99久久精品无码一区二区| 欧美91色| 欧美黄色片AAAAA| 狠久久| 久久久麻豆精品| 96一区二区三区| 色99视频| 九九热九九| 91精品人妻一区二区-全集完整版免费正片国语-B02AV | 丰满人妻-区二区三区免费| 中文字幕-区二区三区四区视频中国| 91狠狠综合网| 丝袜高跟澳门91视频| 又黑又大又粗| 欧美丝袜美女电影一二三四区| 91精品啪在线观看国产城中村| 成人区人妻精品一| 大香交伊人网| 视频国产欧美在线播放| AV99热18这里只有精品| 亚洲成人性爱在线观看| 72av视频| 婷婷另类小说| 一级久久性爱视频| 天天亚洲| 久久久不卡区一区二区三区久久久| 日韩欧美tv一区二区在线观看| 国产精品久久久久999| 久久久久国产一区二| 欧美欧美少妇| 97大色网| 青娱乐日韩无码| 欲香欲色| 日韩亚洲97| 人人喜人人妻| www.黄色在线| 色婷婷一区二区三区久久| 女同在线视频一区| 看大黄色大片原件| 玖玖久久久| 青女在线| 天美国产精品| 日本在线激情一区二区三区| 97超碰色| 国产丝袜一区二区三区| 综合色久| 国模艳艳啪啪一区| 少妇久久久久久久久| 午夜福利在线视频1000| 防屏蔽在线视频| 久久透逼视频| 色九久| 人妻大香蕉| 亚洲97P| 五月天成人综合| 国产AV久久野战精品| 九九热只有精品| 躁躁日曰躁2020| 激情综合网激情五月天| 深夜国产一区二区三区在线看| 国产精品久久久久久久久久久久久久吹 | 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师黑人潮喷一 | 91无码人妻| 一区麻豆 高清中文字幕| 99久re热视频精品98| 亚洲一区二区三区不卡国产欧美| 久久久久夜夜夜夜| KK色在线影院| 91N综合网在线| 熟女自慰久久久| 蜜桃精品一区二区三区ww | 激情六月天| 国语av最新自产拍在线观看| 91人妻在线视频| 97色欧洲| 试看60秒| 性性欧美| 男生女生啊啊啊啊| 日本伦理一区二区| 国产剧情一区在线观看| 性做久久久久久免费观看软件| 久久综合国产精品国产| 午夜舔阴达高潮视频免费看| 久九色| 99999久久精| 久9久9久9久9久9久9| 亚欧美综合网。| 国产精品久久久777| 蜜臀在线免费观看在线免费观看| 日韩美一区| 男人夜色天堂ss| 国产白嫩漂亮KTV在线| 天天弄天天操| 亚洲精品无码成人久久久99| 好爽视频在线观看视频| 中国少妇啪啪视频| sewuyueav| 日日躁夜夜躁狠狠躁超爽| 男人的天堂com| 精品一区二区三区蜜桃| 大香蕉线| 成人久久久| 91春色| 蜜臀无码视频在线观看| 精品夜夜澡人妻无码AV| 欧中美三级一区二区三区| 啊啊啊好舒服视频| 蜜桃传媒视频第一区入口在线看| 999色欧美中文字幕| 午夜噜噜噜| 91九色丨风韵犹存| 91免费看一区二区三区| 日韩性爱小视频| 桃花色综合影院| 一级片在线观看高清无码| 无码人妻精品一区二区中文| 91精品女厕偷拍视频| 中国国产精品一区视频| 伊人激情五月天一区二区| 999岛国大片| 亚洲精品美女久久久久久久久| 五月色网| 日韩 人妻 精品| 色九九九综合| 亚洲精品国产熟女久久久| 骚货操死你| 91色色网站| 国产一区二区三区免费视频在性观看| 欧美日韩性爱无码| 欧美日本国产日韩激情视频| 毛片电影一区二区三区| 亚洲国产成人精品无码专区| 91小视频| 人夜夜精品网站香蕉嫩草| 亚洲综合113页| 久久久噜噜噜久久人妻| 超碰碰97资源站| AA级电影三区| 8050午夜少妇无码| 精品国产嫩穴视频| 久久久99999久网站| 天美久久久久| 91麻豆天美| 国产亚洲精品A在线观看下载| 3d成人精品一区二区| 久久婷婷视频| 99这里只有精品| 亚洲大色堂| 亚洲97精品| 思思热免费在线视频| 久久久久13| 麻豆伊人网| 色色九区| 日韩精品1区2区中文字幕| 啊啊啊啊嗯嗯嗯用力好爽 | 狠狠操,使劲操| 国产福利影视| 日韩少妇丰满亚洲| 大香蕉草草| 中文字幕丝袜国产第一页不卡| 人妻熟女午夜精品在线| 少妇同性| 91日产欧美| 久久中出| 淫荡少妇免费| 久久发布国产伦子伦精品| 亚洲国产精品久久久久婷婷老年| 亚洲色狠| 国产区性爱在线视频秋霞豆| 成人无码专区精品视频| 亚洲欧美清纯| 亚川综合视频| 国语人妻精彩刺激| JuliaAnnXXX888| 一,爱啪啪,在线免费视频| 天天综合香 ld视频| 97亚洲中文| 熟女六十路| 久久人妻无码毛片A片麻豆| 欧美一区二区三区不卡高清视频| 亚欧性爱在线无码| 久草精品一区| 中文字幕一区二区日韩网| 青青国产精品在线| 啊啊啊啊好爽好舒服一区二区易域| 国产白嫩漂亮KTV在线| 国产精品午夜成人福利| 一区二区不卡视| 久久精品国产免费观看99| 中文字幕丝袜美腿| 欧美偷拍| 99在线精品观看99| 少妇蹲下买菜露大唇0| 欧美色视频在线| 婷婷精品国产一区二区三区日韩| 色狠狠一区二区三区香蕉| 强奸乱伦av电影| 熟妇国产免费一区| 日本免费中文字幕在线| 色九九九综合| 秋霞网无码| 91老司机在线视频免费观看 | 久操大香蕉手机视频在线看| 精品人妻高清麻豆av| 久久99人妖视频国产| 啊啊啊啊啊好舒服视频| 操操逼操操逼操操逼逼| 中文久久96| 国产69精品久久久久99尤物| 校园春色亚洲无码| 中文字幕丝袜国产第一页不卡| 日韩欧美丝袜诱惑| 强奸乱伦亚洲第一页| 东京热熟女亚洲视频网站| 亚洲av无线观看| 乱操9999| 99日韩| 男人亚洲天堂| 中文字幕 一区二区 亚洲无码| 超碰精品日韩欧美国产| 日韩欧亚中文在线| 啪啪啪综合网| 9国产超碰| 久久av色| 色逼综合| 伊人久久亚洲中文字幕不卡| 九九天堂| 欧美色棕合| 免费久久精品麻豆一区二区av| 高清在线不卡一区二区 视频| www亚洲欧美| 99999久久精| 国产精品一区二区麻豆| AV在线资源| 亚洲成人一二三区| 激情综合五| 亚洲综合色婷婷| 日日碰狠狠添天天爽超| AV网站高清无码在线观看| 操www| 9丨久久九九九| 男生通女生屁股| 东北老熟女| 校园春色美腿丝袜 | 久噜噜| 热久久99999| 亚洲图片 91| 爽爽歪在线视频| 日韩人体偷拍| 久久精品欧美一区蜜桃| 日韩国产品视频中文字| 国产suv精品一区二区四| 亚洲人精品久久久喷水| www.99在线| 色五月激情综合网| 五月天激情影院| www.夜夜| 射 色综合| 亚洲 综合 欧美| 2020国产精品| 日本色色网| 伊人亚洲国产一成人久久精品,久久| 五月婷婷爱六月丁香色| 久久婷婷视频| 中文字幕五区| 亚洲一区中文字幕久久,果冻传媒一区二区天美传媒 | 国产婷婷综合在线观看| se吧提供91精品国产91久久久久久| 人人摸.人人色| 亚洲成人免费中文字幕| 美國A片| AAA久久| 色色色色色色色色色色色色色色综合| 亚州色交| 粘花网06av视频| 吉田爱美AV在线| 久久爱超碰网| 国内成人圈中文字幕无码视频| 亚洲做性| 东京热毛片177b2viP| 大香蕉乱级| 精品人体无圣光凹凸| 五月天婷精品激情| 五月丁香激情综合网| 嗯嗯嗯啊啊啊在线免费观看| 久久久久久波多野吉衣高潮| 中文字幕91页| 日韩欧美午夜视频在线| 亚洲日韩国产欧美综合v| 91站街按摩店老熟女熟女| 丝袜美腿诱惑亚洲欧美视频在线观看 | 男人女人18禁片免费看网站| AV一区观看| 99精品国产户外露出| 377p欧洲日本亚洲大胆| 在线国产一区二区av| 深爱五月婷婷| 91 国产丝袜在线放观看| 狠狠久久四虎| 天天日美女的B| 亚洲色天堂九9| 精品78| 久操网无码在线| 五月天婷婷久久| 色婷婷综合久久中文字幕雪峰| 啊啊啊啊啊啊啊网址在线观看| 激情欧美97| 亚洲色图尤物视频| 婷婷久久综合久| 超碰97男人| 加勒比无码毛片| 女性喷水高潮在线观看| 久久久久亚洲?V片无码V| 91丨九色丨大屁股| 99国产精品久久久久久久成人热 | 色踪合AV| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区 | 欧美久久九九| 鸥美极品| 一起草三级AV电影在线观看 | 九九干| 在线黄页看毛片| 精品人妻无码一区二区三区不卡-精品人妻无码一区二区...|精品少妇一区二区三 | 亚洲天天更新| 久久无码成人| 国产乱码久久| 精彩久久中文| 久草午夜| 天天天天天天天天天天干美女| 在线啊啊啊啊| 97视频www| 国产蜜臀精品一区二区尤物| A级国产欧美激情在线| 日韩性爱再线视频| 中文字幕一区二区三区人妻少妇在线| 免费精品AB| 曰韩人妻中文字幕在线| www…国产操逼| 亚洲网自拍| 欧美综合网A| 亚洲成人久久美女| 欧美夜色| 啪啪视频免费在线观看| 色婷婷香蕉| 夜夜 中文视频rt| 激情黄色片在线观看| 久碰视频| 亚洲亚洲亚洲天堂天堂| 九九九九国产| 超碰成人免费| 亚洲熟妇白浆无码AV| 久久久久白虎| 欧美一区二区三区日韩| 东北操逼| 高清国产性猛交xxxx乱大交| 91啪9色| 水滴偷拍|