日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

ZFS實(shí)戰(zhàn)指南:從數(shù)據(jù)完整性到快照備份的可靠存儲(chǔ)方案

ZFS實(shí)戰(zhàn)指南:從數(shù)據(jù)完整性到快照備份的可靠存儲(chǔ)方案 聊文件系統(tǒng)大多數(shù)人第一反應(yīng)是ext4、xfs好像日常用著也沒(méi)啥大問(wèn)題。但如果你管過(guò)幾百TB的數(shù)據(jù)或者被“靜默數(shù)據(jù)損壞”坑過(guò)一次——文件還在目錄還在打開(kāi)卻發(fā)現(xiàn)某些字節(jié)已經(jīng)爛掉了而系統(tǒng)日志里什么都沒(méi)有——就會(huì)開(kāi)始認(rèn)真考慮zfs。這篇文章我用自己實(shí)際折騰的經(jīng)驗(yàn)把zfs從設(shè)計(jì)理念到實(shí)操命令再到踩坑記錄一次講清楚。不吹不黑適合正在選型、準(zhǔn)備組NAS、或者已經(jīng)被數(shù)據(jù)可靠性折磨過(guò)的同學(xué)參考。1. zfs到底解決了什么問(wèn)題從設(shè)計(jì)理念說(shuō)起1.1 一個(gè)老生常談但很少被說(shuō)透的問(wèn)題靜默數(shù)據(jù)損壞傳統(tǒng)文件系統(tǒng)ext4、xfs、NTFS在讀取數(shù)據(jù)時(shí)并不知道數(shù)據(jù)本身是否已經(jīng)損壞。讀出來(lái)是一串字節(jié)但沒(méi)人告訴你這串字節(jié)是不是當(dāng)初寫進(jìn)去的那串。磁盤是有壽命的尤其是現(xiàn)在的CMR、SMR、企業(yè)盤、消費(fèi)盤混用時(shí)代偶爾的bit rot、尋道錯(cuò)誤、控制器bug都會(huì)導(dǎo)致某些扇區(qū)內(nèi)容悄悄變化。這就是“靜默損壞”。不報(bào)錯(cuò)、不提示等你發(fā)現(xiàn)時(shí)可能已經(jīng)過(guò)了幾輪備份周期連備份里都是壞數(shù)據(jù)了。zfs的設(shè)計(jì)目標(biāo)之一就是從根上解決這個(gè)問(wèn)題。它的每個(gè)數(shù)據(jù)塊都帶校驗(yàn)和而且是端到端的——從應(yīng)用寫入zfs那一刻起校驗(yàn)和就跟著數(shù)據(jù)走了。讀取時(shí)zfs會(huì)重新計(jì)算校驗(yàn)和跟存儲(chǔ)的校驗(yàn)和比對(duì)不一致就認(rèn)為數(shù)據(jù)損壞然后嘗試從冗余副本鏡像、RAID-Z恢復(fù)并自動(dòng)修復(fù)。這個(gè)機(jī)制貫徹整個(gè)存儲(chǔ)池不是某些文件系統(tǒng)那樣只能對(duì)元數(shù)據(jù)做校驗(yàn)。從運(yùn)維角度看這意味著zfs暴露的不是“某個(gè)文件壞了”這種模糊結(jié)果而是“哪塊盤壞了、哪些數(shù)據(jù)受影響、我能不能自動(dòng)修復(fù)”的清晰狀態(tài)。這是zfs和傳統(tǒng)文件系統(tǒng)的根本分水嶺。1.2 寫時(shí)復(fù)制COW與事務(wù)模型快照為什么便宜zfs另一個(gè)核心設(shè)計(jì)是寫時(shí)復(fù)制Copy-on-Write。傳統(tǒng)文件系統(tǒng)修改文件時(shí)直接在原位置覆蓋數(shù)據(jù)塊zfs修改文件時(shí)先把新數(shù)據(jù)寫到新的空閑塊上然后更新元數(shù)據(jù)指針讓文件指向新塊舊塊繼續(xù)留著。這意味著zfs的數(shù)據(jù)更新是原子性的——要么指向新數(shù)據(jù)要么還是舊數(shù)據(jù)不存在“寫一半”的狀態(tài)。配合zfs的事務(wù)組Transaction Group機(jī)制一批寫入會(huì)被組合成一個(gè)事務(wù)要么全部落盤要么全部不落盤。所以zfs基本不需要像ext4那樣做fsck異常掉電后通常直接可以導(dǎo)入使用。COW還帶來(lái)了一個(gè)巨大的紅利快照幾乎免費(fèi)。因?yàn)榕f數(shù)據(jù)塊不會(huì)被立即覆蓋zfs只需要把當(dāng)前文件系統(tǒng)的“狀態(tài)指針”復(fù)制一份就形成了一個(gè)快照。快照剛創(chuàng)建時(shí)幾乎不占額外空間只有后續(xù)數(shù)據(jù)變化時(shí)被修改的舊塊才會(huì)計(jì)入快照空間??煺談?chuàng)建是O(1)級(jí)別的操作不是把數(shù)據(jù)復(fù)制一遍。這個(gè)設(shè)計(jì)讓我做備份策略時(shí)思路完全變了。以前用rsync做鏡像備份要掃描、對(duì)比、傳輸現(xiàn)在直接在zfs上打快照秒級(jí)完成然后配合send/recv把快照增量推送到異地。省時(shí)省力恢復(fù)點(diǎn)目標(biāo)RPO可以壓縮到分鐘級(jí)甚至秒級(jí)。1.3 存儲(chǔ)池化不再有分區(qū)和邏輯卷的負(fù)擔(dān)傳統(tǒng)方案里磁盤先分區(qū)、再做RAID、再創(chuàng)建物理卷和邏輯卷、最后格式化文件系統(tǒng)一層套一層任何一層出錯(cuò)都很難排查。zfs把這些層全部砍掉直接管理裸盤形成一個(gè)統(tǒng)一的存儲(chǔ)池Storage Pool。你往池里加一塊盤整個(gè)池的可用空間就變大在池上創(chuàng)建數(shù)據(jù)集Dataset時(shí)不需要預(yù)先劃定大小所有數(shù)據(jù)集共享池的空間??梢越o某個(gè)數(shù)據(jù)集設(shè)置quota限制也可以給另一個(gè)設(shè)置reservation保證最低空間靈活度非常高。我在實(shí)際使用中經(jīng)常這樣設(shè)計(jì)一臺(tái)機(jī)器上建一個(gè)池“tank”然后在里面創(chuàng)建“tank/system”放系統(tǒng)“tank/data”放業(yè)務(wù)數(shù)據(jù)“tank/archive”放冷備份。三個(gè)數(shù)據(jù)集共享同一個(gè)池但可以分別設(shè)置不同的壓縮策略、快照策略、掛載點(diǎn)互不干擾。這就是zfs“池化”的核心理念——把空間管理和數(shù)據(jù)管理解耦讓運(yùn)維人員只需要關(guān)心“池有多大、數(shù)據(jù)放哪個(gè)數(shù)據(jù)集”而不必操心底層分區(qū)和邏輯卷。2. 動(dòng)手實(shí)踐15分鐘創(chuàng)建你的第一個(gè)zfs存儲(chǔ)池2.1 環(huán)境準(zhǔn)備與OpenZFS安裝zfs最初是Solaris項(xiàng)目的一部分后來(lái)被移植到FreeBSD、Linux現(xiàn)在大家用的基本都是OpenZFS跨平臺(tái)實(shí)現(xiàn)功能對(duì)齊。Linux上使用推薦安裝zfsutils-linux軟件源里有現(xiàn)成的包不需要編譯。以Debian/Ubuntu系為例sudo apt update sudo apt install -y zfsutils-linux安裝完成后可以用zfs version確認(rèn)模塊和工具版本一致。如果輸出version信息正常說(shuō)明內(nèi)核模塊已經(jīng)加載成功。注意Linux上使用zfs需要dkms或預(yù)編譯模塊。Ubuntu官方源一般自帶預(yù)編譯包裝完即可用。如果用的是RHEL系或自編譯內(nèi)核建議從zpkg源或openzfs官方源安裝避免出現(xiàn)模塊加載失敗的問(wèn)題。確認(rèn)無(wú)誤后找?guī)讐K空閑磁盤可以是整塊盤也可以是分區(qū)但強(qiáng)烈建議用整塊盤讓zfs完全接管用lsblk看清楚設(shè)備名比如/dev/sdb、/dev/sdc。如果你用的是虛擬機(jī)測(cè)試也可以給虛擬機(jī)掛幾塊虛擬盤效果一樣方便反復(fù)折騰。2.2 創(chuàng)建池與數(shù)據(jù)集關(guān)鍵參數(shù)選型創(chuàng)建池的命令很精簡(jiǎn)sudo zpool create -o ashift12 tank mirror /dev/sdb /dev/sdc這條命令做了幾件事創(chuàng)建一個(gè)名為tank的池用mirror鏡像方式加入/dev/sdb和/dev/sdc并且設(shè)置了ashift12對(duì)應(yīng)4K扇區(qū)。ashift是我最想提醒新手的參數(shù)。它表示物理扇區(qū)大小的對(duì)數(shù)值12表示2的12次方即4096字節(jié)也就是現(xiàn)代硬盤的4K扇區(qū)。如果創(chuàng)建池時(shí)不指定ashift舊版zfs在某些環(huán)境下會(huì)默認(rèn)設(shè)為9512字節(jié)導(dǎo)致所有IO都按512字節(jié)對(duì)齊4K盤上性能慘不忍睹?,F(xiàn)在新的OpenZFS版本基本能自動(dòng)識(shí)別4K扇區(qū)但我個(gè)人習(xí)慣在創(chuàng)建時(shí)顯式指定ashift12徹底杜絕隱患。提示ashift在池創(chuàng)建后不能直接修改只能重建池。所以這個(gè)參數(shù)一定要在建池時(shí)確認(rèn)無(wú)誤。我用這個(gè)經(jīng)驗(yàn)救過(guò)同事的NAS——他當(dāng)時(shí)用舊版工具建池后寫入速度只有幾十MB/s重建池并指定ashift12后速度翻了好幾倍。創(chuàng)建完成后可以用zpool status tank查看健康狀態(tài)zpool list查看空間使用情況。接下來(lái)創(chuàng)建數(shù)據(jù)集sudo zfs create -o compressionzstd -o atimeoff tank/data sudo zfs set xattrsa tank/data sudo zfs set acltypeposixacl tank/data這里的compressionzstd啟用壓縮atimeoff是ZFS部署的經(jīng)典建議關(guān)閉訪問(wèn)時(shí)間更新可以減少大量無(wú)意義的小寫入。xattrsa和acltypeposixacl是為L(zhǎng)inux環(huán)境下的SMB/NFS共享做準(zhǔn)備讓擴(kuò)展屬性和ACL以更高效的方式存儲(chǔ)。2.3 日常最常用的zfs命令清單用久了之后你會(huì)發(fā)現(xiàn)zfs的日常命令非常集中幾乎全在zpool和zfs兩個(gè)命令名下。下面列出我?guī)缀趺刻於紩?huì)用到的操作都是高頻實(shí)用項(xiàng)zpool status -x快速檢查所有池是否有異常健康時(shí)輸出空異常時(shí)輸出詳細(xì)狀態(tài)。我習(xí)慣把它寫進(jìn)cron每天定時(shí)巡檢。zpool iostat -v 1查看實(shí)時(shí)IO判斷哪個(gè)數(shù)據(jù)集或哪塊盤在忙。zfs list -t all -o name,used,avail,compressratio查看所有數(shù)據(jù)集和快照帶壓縮率、已用空間方便快速了解空間去向。zfs get all tank/data查看某個(gè)數(shù)據(jù)集的所有屬性排查問(wèn)題時(shí)特別有用。zpool history tank查看池上的歷史命令行操作有時(shí)候能回憶出“當(dāng)初我到底怎么建的”這個(gè)靈魂問(wèn)題。zpool import、zpool export移動(dòng)磁盤或系統(tǒng)遷移時(shí)用先把池export再在另一臺(tái)機(jī)器上import相當(dāng)于“拔掉U盤前先安全彈出”。這些命令不需要全背但一定要知道有這些能力等需要排查問(wèn)題時(shí)能想起來(lái)查。3. 想清楚再用的高級(jí)特性快照、回滾與send/recv3.1 快照機(jī)制與回滾實(shí)操zfs快照是精髓我用它替代了大部分傳統(tǒng)備份流程。比如升級(jí)應(yīng)用前先給數(shù)據(jù)集打一個(gè)快照sudo zfs snapshot tank/databefore-upgrade-20250101這條命令瞬間完成不產(chǎn)生任何數(shù)據(jù)拷貝。如果升級(jí)后發(fā)現(xiàn)問(wèn)題直接回滾sudo zfs rollback tank/databefore-upgrade-20250101回滾之后數(shù)據(jù)集回到快照創(chuàng)建時(shí)的狀態(tài)。注意回滾會(huì)丟棄快照之后的所有修改所以執(zhí)行前務(wù)必確認(rèn)真的要放棄最新?tīng)顟B(tài)。如果中間還有別的快照回滾目標(biāo)必須是最近的快照不能跨快照回滾??煺毡旧硪部梢詣h、可以改名、可以保留多條。我用一套保留策略每天凌晨快照“tank/datadaily-$(date %F)”保留7天每周快照“tank/dataweekly-$(date %F)”保留4周每月快照保留3個(gè)月。再寫個(gè)腳本定期清理超期快照整個(gè)過(guò)程不需要額外占太多空間。清空舊快照的命令sudo zfs destroy tank/datadaily-old批量自動(dòng)清理用zfs list -t snapshot -o name -H配合xargs或者shell循環(huán)非常簡(jiǎn)單。不過(guò)要小心別誤刪最好先zfs list看看名單再動(dòng)手。3.2 備份思路zfs send/recv 完整備份與增量備份快照只是本地保護(hù)真正的災(zāi)備還需要把數(shù)據(jù)復(fù)制到另一臺(tái)機(jī)器。zfs的send/recv特性是這條鏈路的核心。發(fā)送完整快照sudo zfs send tank/databackup-20250101 | ssh backup-server sudo zfs recv -F backup/data如果目標(biāo)端已經(jīng)有上一個(gè)快照可以發(fā)送增量sudo zfs send -i tank/databackup-20241201 tank/databackup-20250101 | ssh backup-server sudo zfs recv -F backup/data-i參數(shù)表示從上一次快照開(kāi)始只發(fā)送變化的數(shù)據(jù)塊增量傳輸量極小非常適合異地備份場(chǎng)景。注意目標(biāo)端如果使用-F參數(shù)會(huì)強(qiáng)制把目標(biāo)數(shù)據(jù)集回滾到接收到的快照狀態(tài)。如果不加-F目標(biāo)端只能按順序接收不能跳過(guò)舊快照。對(duì)這個(gè)特性我的建議是備份目標(biāo)端盡量用獨(dú)立的池和數(shù)據(jù)集接收時(shí)加-F保證備份狀態(tài)與源端一致。把send/recv配合定時(shí)任務(wù)再加上源端每小時(shí)快照RPO可以做到一個(gè)小時(shí)以內(nèi)RTO恢復(fù)時(shí)間則取決于回滾和最新增量的應(yīng)用速度。這已經(jīng)達(dá)到很多企業(yè)級(jí)備份方案的水平但實(shí)現(xiàn)成本和維護(hù)成本低得多。3.3 壓縮與去重各有什么坑zfs支持透明壓縮較老版本用lz4較新版本還支持zstd。壓縮不僅節(jié)省空間還能提升吞吐——尤其是數(shù)據(jù)庫(kù)導(dǎo)出文件、文本日志、虛擬機(jī)鏡像這類可壓縮率高的數(shù)據(jù)壓縮后帶來(lái)的IO減少效果非常明顯。啟用壓縮sudo zfs set compressionzstd tank/data新寫入的數(shù)據(jù)會(huì)實(shí)時(shí)壓縮已有的數(shù)據(jù)不受影響因?yàn)閴嚎s只對(duì)寫入時(shí)生效已存在的數(shù)據(jù)不會(huì)重新壓縮。想強(qiáng)制重寫全部數(shù)據(jù)可以這樣操作用zfs send | zfs recv把數(shù)據(jù)復(fù)制到新數(shù)據(jù)集或者用zfs send | zfs recv到目標(biāo)端再回傳也可以啟動(dòng)一次“scrub后重寫”的方式但最簡(jiǎn)單還是新建數(shù)據(jù)集搬一遍數(shù)據(jù)。去重dedup我必須重點(diǎn)潑冷水。zfs去重基于內(nèi)容哈希表需要消耗大量?jī)?nèi)存存儲(chǔ)去重表。內(nèi)存不夠時(shí)性能斷崖式下跌而且一旦啟用去重表隨著數(shù)據(jù)量增長(zhǎng)幾乎不可控。我見(jiàn)過(guò)不少評(píng)測(cè)說(shuō)dedup“在某些場(chǎng)景很香”但實(shí)際生產(chǎn)環(huán)境里除非你的內(nèi)存以TB計(jì)、而且數(shù)據(jù)重復(fù)率極高否則不建議啟用。優(yōu)先使用壓縮壓縮是穩(wěn)賺不賠的去重是高風(fēng)險(xiǎn)高收益甚至可能高虧損。4. RAID-Z選型與性能調(diào)優(yōu)別急著上盤4.1 RAID-Z1/Z2/Z3與鏡像的選擇邏輯zfs沒(méi)有傳統(tǒng)RAID5的“寫罰點(diǎn)”問(wèn)題因?yàn)镃OW寫的是新塊不需要先讀再寫。但它有自己的幾檔冗余方案鏡像mirror兩塊或三塊盤互相同步空間利用率50%兩盤或33%三盤隨機(jī)讀性能有提升寫性能約等于單盤。適合重視性能的場(chǎng)景比如虛擬機(jī)存儲(chǔ)。RAID-Z1單盤冗余空間利用率最高比如4塊盤可用3塊容量。但在重建時(shí)如果碰上一塊盤故障冗余就完全依賴剩下的盤風(fēng)險(xiǎn)偏高。RAID-Z2雙盤冗余允許同時(shí)壞兩塊盤是很多NAS用戶推薦起步方案??臻g利用率為(n-2)/n比如6塊盤可用4塊容量。RAID-Z3三盤冗余適合超大磁盤陣列和較長(zhǎng)的重建時(shí)間窗口實(shí)際使用中比較少見(jiàn)多用于極端數(shù)據(jù)安全場(chǎng)景。選型邏輯我總結(jié)為幾個(gè)問(wèn)題你能容忍多大空間損失重建期間如果又壞一塊盤你扛不扛得住你的數(shù)據(jù)重寫頻率高不高如果只是日常備份、冷存儲(chǔ)RAID-Z2就夠了。如果存虛擬機(jī)鏡像或數(shù)據(jù)庫(kù)建議鏡像或RAID-Z1加足夠快照兜底。我個(gè)人最常用的場(chǎng)景是數(shù)據(jù)量較大、不追求極致性能用RAID-Z2配合多組快照。4.2 幾個(gè)影響性能的隱藏參數(shù)建池時(shí)ashift是最關(guān)鍵的一個(gè)前面已經(jīng)說(shuō)了。但還有其他幾個(gè)參數(shù)也直接影響性能很多人等到線上出問(wèn)題才去查其實(shí)一開(kāi)始就該定好。recordsize默認(rèn)是128K。對(duì)普通文件共享、大文件順序讀寫很合適但數(shù)據(jù)庫(kù)、VM虛擬機(jī)鏡像這類小塊隨機(jī)讀寫負(fù)載建議設(shè)為16K或32K。塊大小設(shè)置太小會(huì)導(dǎo)致元數(shù)據(jù)開(kāi)銷增加太大又會(huì)導(dǎo)致空間浪費(fèi)和讀放大。我的經(jīng)驗(yàn)是數(shù)據(jù)庫(kù)場(chǎng)景先設(shè)64K跑了壓測(cè)覺(jué)得隨機(jī)讀延遲高再往下調(diào)文件歸檔場(chǎng)景保持128K即可。sync參數(shù)控制寫操作是否同步落盤。默認(rèn)syncstandard系統(tǒng)按正常策略處理。如果你跑數(shù)據(jù)庫(kù)需要保證事務(wù)日志落盤可以把承載數(shù)據(jù)庫(kù)日志的數(shù)據(jù)集設(shè)為syncalways確保每次寫都寫到盤上。反過(guò)來(lái)如果只放緩存或臨時(shí)文件設(shè)成syncdisabled能顯著提升寫入速度但斷電可能丟數(shù)據(jù)要仔細(xì)評(píng)估。atimeoff前面提過(guò)這里再說(shuō)一遍非常重要。關(guān)閉atime能避免每次讀文件都觸發(fā)一次元數(shù)據(jù)更新大量減少無(wú)謂的小寫。配合relatime也行但zfs場(chǎng)景直接off最省心。4.3 內(nèi)存與ARC為什么說(shuō)zfs吃內(nèi)存zfs用ARCAdaptive Replacement Cache做讀緩存效果極好但也因此經(jīng)常被吐槽“吃內(nèi)存”。實(shí)際上ARC的內(nèi)存不是白吃它能大幅提升熱點(diǎn)數(shù)據(jù)的讀性能。Linux下OpenZFS默認(rèn)ARC大小上下限一般最多占物理內(nèi)存的一定比例可以通過(guò)模塊參數(shù)調(diào)整比如把zfs_arc_max設(shè)為一個(gè)具體字節(jié)數(shù)限制ARC占用給其他應(yīng)用留足空間。典型設(shè)置編輯/etc/modprobe.d/zfs.confoptions zfs zfs_arc_max8589934592這行配置把ARC上限設(shè)為8GB。我自己的習(xí)慣是如果機(jī)器內(nèi)存32GB給ARC留12GB其余給應(yīng)用如果是純文件服務(wù)器可以放寬到物理內(nèi)存的一半甚至更多。設(shè)置完需要重新加載模塊或重啟再cat /proc/spl/kstat/zfs/arcstats確認(rèn)生效。L2ARC是用于給ARC加二級(jí)緩存的可以用SSD做但性能提升并不總是明顯尤其隨機(jī)寫場(chǎng)景。我一般不推薦小內(nèi)存用戶上L2ARC因?yàn)長(zhǎng)2ARC占用ARC索引空間內(nèi)存不足時(shí)可能得不償失。5. 日常運(yùn)維與故障排查我踩過(guò)的那些坑5.1 scrub的作用與健康檢查zfs的自我修復(fù)能力不是掛在嘴上而是靠著定期校驗(yàn)實(shí)現(xiàn)的這個(gè)動(dòng)作叫scrub。它會(huì)把池上的所有數(shù)據(jù)重新讀一遍校驗(yàn)每個(gè)數(shù)據(jù)塊的校驗(yàn)和發(fā)現(xiàn)損壞就嘗試從冗余恢復(fù)。可以手動(dòng)執(zhí)行sudo zpool scrub tank也可以用cron定期跑比如每月一次。執(zhí)行期間會(huì)占用一些IO帶寬最好避開(kāi)業(yè)務(wù)高峰期。我習(xí)慣把zpool status的輸出納到監(jiān)控里看到scrub狀態(tài)變成repairing或者errors時(shí)立即人工介入。如果報(bào)告有損壞但恢復(fù)不成功優(yōu)先確認(rèn)是哪塊盤的問(wèn)題盡快更換。經(jīng)驗(yàn)scrub發(fā)現(xiàn)錯(cuò)誤并自動(dòng)修復(fù)后日志里會(huì)顯示類似“status: One or more devices has experienced an unrecoverable error”之類的信息有些盤可能只是偶發(fā)性錯(cuò)誤但不能掉以輕心。連續(xù)兩次出現(xiàn)在同一塊盤就應(yīng)該準(zhǔn)備換盤了。5.2 常見(jiàn)問(wèn)題速查表整理一份我實(shí)際遇到的典型問(wèn)題格式寫成速查表方便大家對(duì)照現(xiàn)象可能原因處理方式zpool status提示設(shè)備不可用/error磁盤掉線、線纜松動(dòng)、磁盤固件問(wèn)題檢查硬件連接確認(rèn)磁盤可用后zpool replace或zpool clearcannot open pool/ 系統(tǒng)找不到池設(shè)備未正確導(dǎo)入或設(shè)備路徑變化zpool import查看可用池再zpool import 池名導(dǎo)入池導(dǎo)入時(shí)提示缺少某塊盤盤順序變化、U盤盤符漂移、盤失敗使用zpool import -D找回或按by-id路徑重新導(dǎo)入讀數(shù)據(jù)時(shí)報(bào)IO錯(cuò)誤磁盤存在壞道或線纜不穩(wěn)定zpool status定位具體盤smartctl查健康必要時(shí)更換zfs list空間比例異??煺照加没蛩閴K較多zfs list -t snapshot確認(rèn)快照大小刪除不用的快照必要時(shí)zpool online -e擴(kuò)展系統(tǒng)啟動(dòng)時(shí)無(wú)法加載zfs模塊內(nèi)核升級(jí)導(dǎo)致模塊不匹配重新安裝對(duì)應(yīng)內(nèi)核版本的zfs包或者更新dkms一個(gè)非常常見(jiàn)的坑是設(shè)備路徑漂移。我之前把系統(tǒng)盤和數(shù)據(jù)盤一起開(kāi)機(jī)數(shù)據(jù)盤在/dev/sdb還是/dev/sdc可能每次啟動(dòng)都不一樣。后來(lái)統(tǒng)一改用/dev/disk/by-id/xxxx創(chuàng)建池徹底告別了這個(gè)問(wèn)題。5.3 容量規(guī)劃與監(jiān)控技巧zfs容量和傳統(tǒng)文件系統(tǒng)不太一樣因?yàn)橛锌煺铡嚎s、冗余幾重變量。zpool list里的SIZE是原始空間ALLOC是實(shí)際分配FREE是剩余。看數(shù)據(jù)集的usedbysnapshots和compressratio能了解空間到底被誰(shuí)占了。我給監(jiān)控加了幾項(xiàng)關(guān)鍵指標(biāo)池的健康狀態(tài)zpool status是否有error、空間使用率超過(guò)80%就開(kāi)始關(guān)注因?yàn)閦fs在空間還很充足時(shí)性能穩(wěn)定接近滿盤時(shí)碎片和寫放大會(huì)增加、scrub最后完成時(shí)間超過(guò)預(yù)期周期就告警。腳本示例定時(shí)檢查池狀態(tài)并輸出到日志#!/bin/bash POOLtank if ! zpool status -x $POOL | grep -q is healthy; then echo [$(date)] Pool $POOL has issues: /var/log/zfs-monitor.log zpool status $POOL /var/log/zfs-monitor.log fi放在crontab里每天跑一次配合外部監(jiān)控Zabbix/Prometheus都有zfs exporter插件就夠了。另外規(guī)劃和上盤時(shí)不要把所有盤塞滿一個(gè)池。zfs在池里再加一個(gè)vdev比如再加一組mirror或RAID-Z數(shù)據(jù)會(huì)分布到所有vdev上但空間利用率和冗余策略最好一開(kāi)始就規(guī)劃好?;旌喜煌愋蛌dev會(huì)讓容量管理復(fù)雜化新手不建議這么玩。6. 生態(tài)與選型參考把zfs用在正確的地方zfs現(xiàn)在已經(jīng)不是“愛(ài)好者玩具”很多場(chǎng)景都有成熟的落地方式。我自己用過(guò)幾種典型組合簡(jiǎn)單聊聊。第一個(gè)是自組NAS。用一臺(tái)普通的X86機(jī)器或舊服務(wù)器裝TrueNAS Scale或者純Debian加Samba數(shù)據(jù)盤直接跑zfs。TrueNAS圖形界面把zfs的池管理、快照、scrub都封裝好了適合不太想碰命令行的朋友。但如果你希望完全掌控底層命令行才是zfs的完整形態(tài)。第二個(gè)是虛擬化平臺(tái)。Proxmox VE默認(rèn)就支持把虛擬機(jī)磁盤放在zfs上可以給虛擬機(jī)打快照、做備份還能利用zfs的發(fā)送接收實(shí)現(xiàn)遷移和備份。我試過(guò)在Proxmox上跑zfs存儲(chǔ)配合zfs send/recv備份虛擬機(jī)磁盤恢復(fù)速度遠(yuǎn)高于傳統(tǒng)文件復(fù)制方式。第三個(gè)是內(nèi)核態(tài)緩存/日志類場(chǎng)景。把SLOGSeparate Intent Log放到SSD上可以加速同步寫。但這需要額外硬件且對(duì)SSD的掉電保護(hù)有一定要求普通消費(fèi)級(jí)SSD掉電可能導(dǎo)致數(shù)據(jù)丟失。這個(gè)設(shè)計(jì)在水很深不是必須的話建議不要一上來(lái)就搞先把基礎(chǔ)池和快照備份用好。zfs的生態(tài)很豐富周邊工具也不少zfs-auto-snapshot自動(dòng)快照、sanoid管理快照和復(fù)制、zrepl做連續(xù)復(fù)制、pyznap更簡(jiǎn)單的快照web管理?;靖采w了從備份到監(jiān)控的所有需求。挑一個(gè)跟你習(xí)慣最匹配的別堆太多工具寧可用最簡(jiǎn)單的cron也不要搞出維護(hù)負(fù)擔(dān)。我個(gè)人的體會(huì)是zfs最強(qiáng)大的一點(diǎn)是把“數(shù)據(jù)要可靠”這個(gè)抽象目標(biāo)具象成了一組可操作、可編排的特性校驗(yàn)、快照、發(fā)送接收、冗余、壓縮。它不只是一個(gè)文件系統(tǒng)更像是一套完整的數(shù)據(jù)生命周期管理方案。學(xué)zfs的過(guò)程中你對(duì)文件系統(tǒng)、IO棧、數(shù)據(jù)備份的理解都會(huì)明顯上升一個(gè)臺(tái)階。如果你還在糾結(jié)“到底要不要上zfs”我的建議是拿一臺(tái)測(cè)試機(jī)先跑一個(gè)月把快照、scrub、send/recv這些操作都過(guò)一遍等真正理解了“它為什么這樣設(shè)計(jì)”之后再去決定是否在生產(chǎn)環(huán)境落地——到時(shí)候你會(huì)知道回不去了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
www久久国产精品| 一区二区三区精品黑丝白丝酒店对鸡 | 色999偷自拍拍| 偷拍视频青青草在线视频| 在线国产福利网址导航| 后入式999| 欧美激情另类一区二区| 亚洲色9| 91狠狠综合久久| 日本一级婬片试看三分钟| 后入内射蜜桃臀| 亚洲自拍97| 国模精品娜娜一二三区| 97精选久久| se吧提供国产乱老熟视频胖女人| 欧美色偷拍 | 在线人成亚洲视频免费观看| 久久久一热在线播放| 狠狠爱夜夜| 久久久五月天| 一区二区三| 色噜噜综合在线| 偷偷人人精品女女久久| 99色天堂| 日本精品一区二区三区四区的功能| 自拍鲍鱼一区在线高清观看免费| 欧美的精品的视频| 91麻豆天美传媒HD| 中文字幕精品一区欧美| 人妻爽爽啪视频| 亚洲电影中字一区二区| 香蕉久久精品| 亚瑟国产精品久久无码| 青青草玖玖爱| 久久九色| 97欧美在线| 97电影院超碰| 色网站导航大全| 亚洲一二三四区机械| 91亚洲综合| 亚洲天堂,男人| 色噜噜狠狠色综无码久久合欧美| 久艹伊人精品综合在线| 青青免费在线视频一区 | 久久久无码av精| SUV一区二区在线看| 最新国内自拍av免费| 亚洲精品天天影视综合网| av天堂天堂av日韩| 2020中文字幕在线| 欧美狠狠弄| a一区二区三区乱码在线| 99只有精品| 美女一区二区国产精品| 久久久久亚洲| 中日韩久久人妻一区二区| 免费又黄又裸乳的视频| 天天操福利视频综合网站| 日韩婷婷| 性饥渴少妇av无码毛片| 国产AV天美传媒一区二区三区| 人人天天干干| 97爱爱爱| 色欧洲97| 欧美精品在线观看| 亚洲中文字母在线播放| 精品久久久久久中文字幕视频免费| 超碰性爱97| 深田咏美亚洲精品福利社 | 98色网| 中文字幕高清精品一区| 少妇激情AV| 天美AV片| 99精品在线播放| 亚洲国产ⅴ高清在线观看| 97视频免费在线| 最新加勒比丝袜在线| 久久无码成人| 吖在线不卡一区二区国产剧情| 校园春色 亚洲| 欧美人黑A片无码免视费| 久久久久密臀视频| 色噜噜国产在线| 啪啪啪精品视频| 久久久久九九九| www. 男人天堂成人在线| 天堂九九九九九九九九九| 天天干干天天干干| 日本精品一级二级三级| 亚洲女人91| 久久人妻无码毛片A片麻豆| 婷婷五月天成人| 91艹B视频| 天天肏天天干| 九九九九九九九九九国产精品 | 大香蕉宗合网在线| 日韩不卡毛片Av免费高清| 五十路三区在线| 后入福利| 亚洲综合69| 久/久精品99看9| 91精品无码久久久久久久| 91白虎| 天天躁狠狠躁av| 99热超碰| 亚洲美女精品| 久九干| 欧美亚洲日韩人妻在线观看| 成人av动漫在线观看| AV在线性爱| 精品日韩人妻视频| 啪啪性爱免费视频| 91视频精品| 97香蕉网| 水多多映视AV| 日韩免费一级性爱视频| 思思视频免费看网站| 91在线视频国产网站| 97超级久久| 99热这里都是精品| 欧美亚洲日韩人妻在线观看| 日韩草久视频| 69AV女优男人的天堂| 人妻久久久久久久久久久久久久久| · —级AA伦aa坐爱午夜极速ⅴA一区天天噪天天噪天天噪 | 精品一二三区女同| 九九九九一级| 男人天堂网址| 啊啊啊慢点| 久久久久久九九九九九九| 国产亚洲精品美女| 亚洲久久东京热一二三四五区视频| 蜜桃久久久久久久久久久久| 好吊爽好吊爽在线视频,中文字幕精品一区二区日本,国产良妇出轨视频在线观看, | 日产精品久久久一区二区| 超碰是碰在线观看| 亚洲 欧美综合| 欧洲精品一级二级精品综合视频综合 | 精品无码一区二区| #NAME?| 在线五区| 2017天天插| 天美传媒AV在线| 97香蕉网| 日韩国产欧美伦理在线| av一区二区三区 中文| 黄色av一区二区在线| 99视频内射三四| 亚洲性爱高潮影院| 国产熟妇一区二区| 老熟乱一区二区三区四区| 日本506070| 欧美性生活免费网| 麻豆这里只有精品| 哈哈操电影AV| 中文字幕青青草| 美女91网站| 日本欧美韩国国产在线| 国内三级自拍小视频在线观看| 色婷婷丁香五月| 91中文精品日韩欧美在线| 亚洲清纯唯美| 100啪啪视频大全| 欧美日韩精品一区二区三区高清| 先锋精品av色鲁| A啊啊在线观看| 97资源站国产精品| 操逼不卡中文字幕| 久操九九九九九九九九九九九九九九九九九九九九九九九九九九九九 | 日韩91网| 亚洲国产成人福利在线观看| 人妻久久久久久| 啊啊啊快操我视频| 人妻精品免费一二三区| 性一交一乱一交A片久久四色| 东京热激情视频一二三区| 欧美激情片一区二区| 男女激情黄色网址| 超碰97玖玖爱| 黑人综合网| 午夜福利免费福利视频| 91久久午夜无码鲁丝片久久人妻| 黄站在线免费观看| 麻豆国产97在线| 国产精品自在自拍视频| 操死我了啊啊啊| 一级乱伦网站| 黄污污污污| 亚洲日韩XXX| 天天综合91| 中文字幕日本久久| 射丝袜大香蕉| 九九精品99| 啊啊啊啊啊啊啊国| 色五月AV| 久久后入制服| 久久久久久69国产一区二区| 一道本东京热加勒比一区二区三区 | 亚洲成人一二三区| 后入福利| 另类专区在线观看| 久操视频在线| 成人 日本A片无码8888| 亚洲黄色网址| 乱伦图av| 91熟女.com| 久久亚洲欧美中文字幕国语| 骚逼一区二区| 偷拍三区| 自拍亚洲综合| 国产黄片在线免费观看| 99热8| 国产一区二区在线播放量| 久久精品视-一级做a爰片性色毛片16美国-中国女与老外在线精品 | 夜夜爽夜夜爽| 人人色97| 尤物视频视频官网| 成人色女网| 亚洲一区中文精品| 9精品在线| 手机在线免费看的av| 亚洲综合网图| 天天做日日做| 国产黑白丝在线| 在线视频日韩欧美国产| 屁股久久久久久久久久| 一区=区三区视频| 麻豆久久精品亚洲精品88 | 51久久夜色精品国产麻豆| 一区二区三区四区姦女| 亚州免费啪啪视频| 亚洲激情欧美色图 | 91精品女厕偷拍视频| 超碰97久久国| 91狠狠综合久久久| 97在线视频免费| 麻豆区99999| 妇女性内射冈站HDWWWCOM| 丁香五月天久久精品视频一区二区三区| xxxx网站亚洲精品| 日韩欧美中文字亚洲慕| 黑人天8A∨高清网站| 亚洲小电影免费涩涩成人在线高清| 超碰在线97国产| 深夜激情无码| 97无码视频在线播放| 久久日本熟女精品一区| 大香蕉黄色一区| 亚洲情色欧美| 一区二区三区在线日韩影院观看| 欧美性猛交美女自慰91| 3P乱轮视频| 亚洲女人91| 91久久伊人婷婷青青草| 无遮挡h肉动漫在线观看| 日本道不卡| 熟女网站最新| 欧美制服网站美腿丝袜| 亚洲天堂7777| 成人一二| 国产一区二区在线看| 激情婷婷五月天| 在线视频亚洲无码| 少妇色欲综合网2| 97人亚洲综合字幕| 丁香五月色| 久热精品在线国产| 性饥渴少妇av无码毛片| 欧美色就是色| 黄久久| 极品粉嫩一区二区| 久久久久9999| 99久久久er直播网址| 欧美丝袜91| 欧亚成人在线视频| 九九天堂| 99精品久久| 曰韩操B| 麻豆精品一区二区三区四区免费观看| 欧美日韩亚洲国产中文永久天天看| 97九色人妻| 国产精品老师| 乱伦AVxx| 黄色视频特级毛片| 人人插人人摸人人| 国产女人与拘做受视频免费| 国产三级在线现体验区| 可以免费看黄片的视频| 亚洲性爱成人| 亚洲 欧美 精品专区 极品| 吊色| 啊啊啊啊啊,啊啊啊啊好舒服,操我舒服啊啊啊 | 色就色综合| 思思热一热婷婷热一热| 亚洲 欧美 制服 另类 自拍| 日韩熟女无码| 日本性感人妻91| 97香蕉网| 无遮挡男女激烈动态图| 久久久九九九| 在线αⅴ| 操逼1区| 熟女精品va中文字幕| 天天摸夜夜添无码小视频| 最新日日夜夜天天干干| 人人操人人摸人人看人人插| 亚洲最新Av| 2020久久免费视频| 国产精品成久久久久午夜午夜| 久久久人妻| 高潮精品| 亚洲影院365| 麻豆视频国产一区二区| 国产亚洲精品精AV.| 久久综合九色综合欧洲98| 2023天天操夜夜操| 囯戸精品高潮呻吟旡码| 亚川综合视频| 操逼操逼逼操操逼91| 亚洲色图日韩精品| 色丁香五月婷婷| 久热91| 1024久久高清视频| 久久99草| 精品国产乱码久久久久久蜜臀| 亚洲激情视频| 先锋影音av先锋一区| 视频一区二区三区精品| 伊人久久综合影院| 欧美强奸一区二区诱惑| 亚洲天堂人妻一区二区| 久久綜合很很很| 97在线亚洲| 熟妇一区二区| 精品日韩人妻精品一二三区| 日韩在线观看字幕精品| 亚洲日韩一区电影| 中文一区在线日| 日本天堂在线播放| 五十路三区在线| 国产欧美日本亚洲精品| 免费啪啪啪网站18岁| 97在线精品| 亚洲天堂另类美腿| 久久一二三四五六七八九区| 青青草久草| 日韩黄色av中文字幕| 国产视频一区二区免费| 刺激性视频黄页| 国产精品欧美激在线| 中国熟女91| 亚洲色图欧美一区二区不卡| 大香网站| 99爱久久视频频| 色情婷婷久久五月天| 99re欧美| 久久久久久国产精品免费网站| 九九AV| 好舒服视频| 欧美情色亚洲| 九九精品99| 91色久| 美日韩在线不卡人妻| 性生活性生大爱77AV国产| 看日韩黄片| 超碰免费人人| 精品久久9| 亚洲 暴爽 AV人人爽日日碰| 人人扣人人操| 中文字幕免费观看| 天堂性色| 婷婷色色五月天| 激情四射五月天| 亚洲av成人精品一区| 中文字幕jul-617人妻熟女| 欧亚久久偷拍视频| 在线不欧美| 一区二区三区 日韩欧美| 狠狠躁AV| 久久久亚洲熟妇熟女| 婷婷中文网| 性生活无遮挡纯毛片在线看| 久久久久久九九九| 欧亚综合一卡二卡中文字幕| 欧美伦乱| 天天干人妇| 国产精品3| 国产久久成人| 中国一级αV| 五月大香蕉| 97操97干| 国产日韩欧美三级片| 精品一二三区女同 | 亚洲偷91色| 一区不卡在线观看av| 99热精品在线| 亚洲日本天堂| 婷婷大香蕉| 午夜亚洲| 性爱久久| 中文字幕熟女人妻丝袜| 久久婷婷一区二| 日本媚薬中文字幕在线| 26uuu国产| 亚洲欧美清纯| 国内黄色精品| 国产一级内射无挡观看| 久久久久久裸体| 久久av成人无码免费| 综合视频91| 亚洲AV秘 精品久久老牛影视| 亚洲drav色图| 亚洲小电影免费涩涩成人在线高清| 天天综合网在线| 国内毛片欧美香蕉精品| 极品粉嫩少妇视频| 日韩不卡a级视频专区| 亚州精品人妻一二三区| julia高潮后不停追击中出| 人妻少妇精品视频一区二区三区| 91熟女熟妇视频网站| 97在线免费| 青青草黑寡妇男人天堂| 美女写真| 天天澡天天爽日日AV| 五月天伊人| 国产 热久久久久国产精品| 亚洲欧美综合网站| 天天看综合网| av三级电影在线播放| 激情文学欧美| 国产视频一区二区免费| 丰满人妻区一区二区三| 天天摸天天舔天天操| 亚洲成A∨人影院在线欢看| 97碰碰色| 欧美久久婷婷| 精品-91人妻子系列| 白丝av| 1024手机看片欧美日韩| 熟妇操花| 日本阿v天堂在线观看| 麻豆人妻少妇在线免费观看| 美女被艹尤物视频| 尤物av网站免费在线播放| 亚爽爽爽爽爽爽爽爽| 手机看片1025| 亚洲男人久久综合天堂| 91高清欧美| 97色爱| 国模精品一区二区三区苹果色戒| 国产在线综合福利网站| 偷拍新久久| 日本 免费 一区二区三区 久久香蕉| 久久直播国产| 国产午夜福利专区综合| 熟妇人妻丰满久久久久久久无码| 97视频在| 久久久久久大| 337p大胆噜噜噜噜噜91Av| 涩综合导航| 美女啊啊啊啊啊啊| 精品国产综合久久福利,热99这里有精品综合久久,99热这里只有免费国产精品,精 | 欧美色自拍| 亚洲国产欧美日韩人妻日中文| 午夜性生活av免费在线看| 少妇蹲下买菜露大唇0| 熟妇熟女一区二三区| 你想操日本小逼吗| 青青免费在线视频一区| 啊啊啊啊啊啊啊啊视频| 丝袜天堂网| 蜜臀人妻少妇久久在线观看| 98一区二区精品| 亚洲一区二区三区欧美日韩| 国产黄色在线播放观看| 东北女人性交| 久久久久亚洲一区女同性恋中文字幕| 色婷婷五月综合| 自拍偷拍 日韩无码| 国内精品a| 26uuu最新| 久久久久久九九九| 人妻精品一区二区| 亚洲高清欧美总合| 999国产精品999久久久久久| 国产天天噜一噜久久久| 亚洲 欧美 综合 91| 国产成人主播| 热热热热日日漂亮永久永久国产日| 四虎永久在线精品免费网址| 极品丝袜无码| 婷婷五月天成人网| 人人考人人摸人人干| 成人免费福利在线观看| 操逼逼福利视频| 国产高清无码一区三区二区| 欧美色视频在线| 超碰无码加勒比| 久操com| 91成人社区| 国产乱弄免费在线视频。| 91美腿丝袜在线观看| 天天影视综合网欧美精品| 最新加勒比丝袜在线| 久久久久久久久久久人妻| 91人妻超碰| 夜夜高潮夜夜爽高清视频一 | 激情专区综合| 久久午夜伦| 日韩在线视频1234| 天天干天天日天天射黄色片| 韩国国产欧美情侣视频在线| 无码九九| 欧美丝袜91| 国产99热| 黄色片一区二区三区四区五区 | 欧美精品1区2区3区| 免费中文在线| 丁香五月AV| 亚洲日本男人天堂网| 国产成自自拍在线观看| 美女网站黄页| 麻豆成人影音在线| A一区片| 美国aaaaa一级黄片| 大香蕉黄色一区| 精品国产乱码久久久久久影片| 96AV久久久| 内射黑丝袜| 欧美色另类| 黑人精品XXX一区一二区| 99在线无码精品秘 入口黑人| 欧美黄色大香蕉一区二区| www.狠狠操| 你草精品在线视频| 蜜汁欧美| 91搞逼视频| 亚洲欧美国产日本一区二区三区| 噜噜在线| 大香蕉国产中文自拍| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 亚洲天堂精品日韩电影| 国产精品呦一区二区三区| 婷婷综合激情| 精品久久久久久久久久久久| 夜夜高潮夜夜爽夜夜爱爱一区| 精品传媒在线一区| 都市久久精品激情亚洲| 五月丁香激情综合| 欧美大片天天看| 高清无码人妻久久久一区二区三区aⅴ| 亚洲欧洲中文日韩女优乱码| 国产亚洲国产超碰| 97超碰超欧美。| 国产后入| 丁香五月大香蕉| 自拍亚洲综合| 久久成年片色大黄全免费网站| 久久精品色欧美aⅴ一区二区| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 国产人人干| 午夜国产综合视频在线观看| 日韩不卡a级视频专区| 天天爽夜夜欢视| 中文字幕乱码在线观看| 精品v日韩欧美国产| 欧美在线色图| 中文字幕一区二区视频在线观看| 九九性视频| 亚洲文学偷乱拍啪啪啪啪| 亚洲影院无码在线| 欧美人妻精品| 91人妻人人澡人人爽人人精品| 91视频伊人| 国产免费永久精品无码| 青青草啪啪网| 国产午夜福利专区综合| 岛国小电影| 综合网91| 男人的天堂在线有码| 99re28在线观看| 久久‘黄片视频| 校园春色亚洲无码| 亚洲色系另类精品国产| 国产精品色哟哟| 精品人成视频在线观看| 厕所偷拍在线| 日本一道在线播放高清| 久久国产99精品72福利| 91春色| 免费看美国人人爽,人人操| 玖玖无码超碰| 国产成人bd在线观看| 尤物视频网 刘玥| 亚洲精品一区二区三区在线播放| 国产欧洲精品亚洲午夜拍精品| 国产女乱淫真高清免费视频| 国产精品久久久久999| 在线a v| 色偷偷男人的天堂麻豆| 亚欧高清在线| 日韩大香蕉AV影片| 亚洲91少妇| 国产v亚洲v日韩v欧美v片另类| 啊好大好舒服| 国内毛片欧美香蕉精品| 四虎视频在线观看| 97AV在线观看| 第二页中文字幕| 国产精品一区二区亚洲人成毛片| 诱惑人妻欧美一区在线播放| 国模不卡| 欧美综合自拍亚洲综合图| 操逼日韩无码| 91美女在线观看| 色999人与兽| 亚洲一区日韩精品| 97少妇人妻中文字幕久久| 激情五月婷婷综合| 精品人妻中文字幕高清| 亚洲性感丝袜诱惑在线观看| 99视频精品| 热思思免费视频| 好爽免费视频,| 国产精品免费视频人成| 日韩日韩日韩-国产乱码精品一区二区| 色色色热| 琪琪精品免费一区二区三区 | 男人的天堂2018.| 欧美大香蕉同搞| 欧美欧美少妇| 曰本熟女视频| 色综合婷婷| 久久精品噜噜噜成人看免欧美大片| 97人肏| 久干9操| 蜜臀视频网站| 操老熟女AV| 国产精品一区二区在钱播放| 搡老女人911熟妇老熟女| JuliaAnn丝袜熟女系列| 日本精品一区三区| 手机看片1024你懂的国产| 狠狠久久亚洲欧美专区| 偷偷人人精品女女久久| 福利在线黄片| 夜色97| 久思思热视频在线观看| 色噜噜人妻av 中文字幕| 国产一线二线三线av| 亚洲无码AV九九九| 日韩综合97P| 亚洲囯产精品女人久久久| 综合网~91综合网| 亚洲另类欧美精品| 亚洲色图欧美色图制服丝袜| 欧美中文字幕精品人妻| 天美传媒av 在线| 91精品老女人| 强奸少妇AV导航网| 欧美综色欧| 丝袜大香蕉| 激情婷婷丁香| 第一高清av中文字幕| 国产AV线| 青草av在线| 丝袜美腿丝袜| 黄色网址久久精品欧美喷水| 亚洲综合首页| 日韩专区数据列表-第3230页-精品国产一区二区三区香蕉 久久99熟女人妻中文字 | 97国产精选| 精品人人插人人操| 国产sv美女内射| 欧美性天天影视| 免费人成毛片乱码| 人妻美腿丝袜制服诱惑综合天堂-| 99无码狠狠久久| 无码人妻丰满熟妇奶水区毛片| 国产福利电影| 亚洲城人男人的天堂| 日韩激情电影中文字幕| 日韩欧美成人大香蕉| 最新亚洲黄色免费电影| 性性久久| www.超碰在线| 国产精品com| 久久久专区| 亚洲中文字幕精品久久久久久直播| 天天超级碰碰碰| www.av在线观看| 91综合网在线| 欧美日韩精品久久| 丁香婷婷啪啪| 成人性爱免费播放| 色爽——AV| 天天流夜夜操| 蜜乳av一区二区| 97在线播放 | 亚洲97p| 国产精品老师| 亚洲网站一区二区在线| 欧美一级AAAAAAA| 日欧毛片久久| 一区二区 韩日AV| 18禁中文字幕| 欧美国产婷婷久久| 综合97亚洲| 人妻少妇久久久| 精品国产无码中文| 97碰碰色| 伊人 俄罗斯 a v| 日韩性爱网址| 亚洲国产精品9999在线观看| 综合久久99| 中文字幕伊人| 少妇一区二区三区在线观看| 国产久久久久久久久一区二区| 国产精品第一区第一页| 天天日天天干天天摸天天操| 樱花草社区www中国| 五月天婷婷久久| 人妻少妇被猛烈进入中| 无码国产精品96久久久久孕妇| 伊人网一本| 欧美日韩国产中文超碰| 国产精品99久久久www| 91搞逼视频| 国产福利合集| 欧美色图20P| 国产中文日韩欧美一区二区三区人妻丝袜美腿 | 欧美一区二区情色| 色综合久久久久| 天天视频综合在线观看视频| 97九色| 麻豆天美一区二区| 97在线公开视频| 青草香蕉网| 国内三级自拍小视频在线观看| 久久黄片国产一区二区| 美欧色综合| 亚洲影视高清三级-草1024榴社区入口-品爱AV| 亚洲揄拍网| 性色高清在线| 在线天堂999| 熟女日韩| 懂色AV一区二区三区| 99久视频| 99色视频| 日韩丝袜二区| aaaa少妇高潮大片| 国产不卡免费在线视频| av在线观看不卡网站| 久久久一区二区三区三州| 日韩欧美亚洲自拍偷拍| 97在线免费| 啪啪综合网| 欧美日本成人一区二区| 丁香婷婷五月| 秋霞怕怕片| 加勒比综合| 成人五月天丁香激情综合| 亚洲最新Av| 五十路六十路七十路熟婆| 国产无码久久高清| av一区二区三区不卡| 日韩一级二级三级免费看完整版| 黄骗免费网站| 美日韩男女操屄视频| 夜夜操美女| 91bbb| 日韩字幕一区| 93人人操人人| 久久九九综合| 欧美久久草熟女| 蜜伊人色综合97| 性生活无遮挡纯毛片在线看| 9长久久精品| 蜜桃臀一区二区三区久久| 久久精品成人| 夜夜骑夜夜操| www.99中文字幕| 国产吞精a级片激情电影| 婷婷久久综合久| 久久综合日韩亚洲欧美| 欧美国产一区二区三区麻豆传媒| 91无码人妻| 精品人妻久久久| 亚洲?V高清一区二区三区尤物| 国模私拍一区二区三区神乳| 每日更新AV| 久久久五月天| 好爽,再快点啊哈嗯嗯嗯嗯| 欧美999999| 蜜臀99久久国产| 操逼无码操逼| 亚洲综合成人网| 亚洲欧美综合色| 伊人午夜福利视频| 91无遮挡| 亚洲砖码砖专无区2023| 国模限制级电影| 欧美91久久久久| 老女人综合网| 99精品成人免费看| 亚洲高清视频在线观看| 亚洲做性| ji熟女.com| 九色视频91| 亚洲情色一区二区三区| 东京热毛片177b2viP| 日韩不卡在线一区二区| 男人天堂站| 狠狠色五月亚洲91| 中文字幕精品一区欧美| 日韩性爱播放| 久操在97| 高清有码一区二区| 国产亚洲在线观看| 无码男人天堂| www熟女乱伦com| 伊人AAA| 亚洲日本天堂| 久久天天艹| 国产suv精品一区二区四区999| 欧美成人精品一区二区男人蜜臀| 高潮的A片激情扒开一区| 日本人体九九九九九九| 97中文综合| 天天操天天干一区二区 | 情色五月天就去干| 在线色导航| 欧美18禁91| 天天噜| 国内三级自拍小视频在线观看| 久热久| 日韩免费高清大片在线| 国产伊人自拍| 欧美激情综合| 男人天堂久久精品| 欧美亚洲中文字幕| 天天干人妇| …中文字幕亚洲乱,97人妻无码费视…| 欧美性爱免费短视频| 亚洲男人的天堂亚洲| 日韩精品影视| 综合伊人激情| 久插不卡| 天天草夜夜草高潮片| 女人一区| 欧美αv.com| 亚洲男人天堂2013| 青青伊人这里只有精品| 欧美亚洲宗合色性图| 小日子操bb在线看| 国产又大又粗又色生活片亚洲国产精品成人久久久综合免费 | 亚洲毛片基地专区| 丁香六月综合激情| 超碰在线免费一区二区三区| 激情综合久久| 亚洲有码视频二区| 亚洲 91 在线| 人人操 欧美| 欧美精品 - 91爱爱| 加勒比在线观看一区二区| 一本一首道人妻少妇免费久久| 欧美日韩电影成人在线| 亚洲综合射| 天堂8在线新版官网| 全国男人天堂网| 超踫中文字幕| 综合伊人激情| www.婷婷六月天| 91色婷婷综合久久中文字幕二区| 亚洲精品丝袜-不卡成人免费……| 亚洲欧美电影| 97这里只精品| 日本中文字幕在线电影| 中文字幕一二三| 亚洲综合性感在线| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | 欧美日韩亚洲国产中文永久天天看| 精品一啪| 91亚洲人| 国产美女激情| 色欲久久综合| 18禁看网站一区| 亚州大图综合色图| 性站| 脫衣舞一区二区三区| KK色在线影院| 日韩伦理久 久久 清纯| 无码精品人妻一区二区三区妖精| 天天久久久久久| 超碰激情808| 人人操人人操草草| 九久精品| 91欧美性| 亚洲欧洲视频小说在线观看| 国产网红精品| 精品中文日韩字幕视频| 色婷婷香蕉| JIZZJIZZ亚洲女人被躁| 人人噜夜夜操| 一区二区三区机械有限公司| 91少妇人妻| 国产精品九9| 国产剧情AV不卡在线观看| 97色亚洲| 妇女乱色二区| 成人熟女区| 青草青青久久久久久国产| 久久毛卡| 26UUU欧美日本| a啊啊啊啊啊啊啊啊一区二区| 99热导航| 91原创在线观看| 欧亚免费视频| 欧美日韩另类在线播放| 久久人| 亚洲色天堂九9| 久操在97| 国产农村妇女精品1区二区| 99九九久久| 夜夜影视四色| 国产探花日韩援交| 久久东京热久久| 亚洲AV色图一区| 一本大道综合伊人精品热热| 综合久久中文字幕综合日韩精品| 天天操天天干一区二区 | 久久久熟妇熟女国产| 亚洲色吧网| 色婷婷99| 99久久婷婷国产综合| 免费中文在线| 国产网站在线播放| 操一对老熟妇爽上天视频| 青青草视频导航官网| 五月色综合| 五月丁香社区婷婷日韩欧美精品影院 | 亚洲福利影院一区久久| 欧美人妻制服| 欧日韩一二三f区| 超碰久草| …中文字幕亚洲乱,97人妻无码费视… | 99精品在线观看| www.99中文字幕| 性爱Av免费| 在线毛片片免费观看| 极品销魂美女一区二区 | 观看免费区二区三区二| 人妻丝袜无 码视频专区| 色婷婷九月| 六月色色| 婷婷五月天社区| 国产粉嫩出水在线播放| 吖在线不卡一区二区国产剧情| 欧美大香蕉久| 精品无码秘 人妻一区二区| 欧美性爱超碰97| 亚洲欧美综合图片| av天堂加勒比| 日日摸日日碰| 久久同城AV| 亚洲五区熟女| 青青草视频导航官网| 97欧美精品综合| 久9久| 97久久精品亚洲中六字幕| 啊嗯好大视频在线观看| 四虎AV无码| 综合网,亚洲,欧美| 91在线页| 欧美日韩制服| 淫纸中9区| 免费视频一二三区| 乱伦熟女论坛| 最新日本中文字幕| 精品无码久久久久久国产浪潮| 韩国一级做a久久久久| 天天干嫩逼网| 国产精品com| A片A5445444| 天天综合网91| 日韩精品碰碰| 自偷自拍的亚洲视频| www四虎| 99精品人人爽| 日韩欧美女求操每天更新| 大肥女高潮bbwbbwhd视频| 亚欧性爱无码| 99视频在线| 久久仑合| 超碰久草| 蜜乳中文字幕a在线| 精品一区二区综合熟妇| 欧美国产日韩清纯唯美| 亚洲欧洲精品成人| 中文字幕精品三级久久久| 黑人综合网| 中文字幕一区二区日韩网| 久久精品性| 你草精品在线视频| www.91视频网| 亚欧性爱无码| 五月天婷婷激情| 一区二区三区成人| 国产精品白丝| 黄色性爱网网| 成人情色一区二区| 欧美日韩在线视频网站| 美国人人操人人操| 亚洲欧美日韩综合在线尤物| 精品久久久av| 96久久久精品| 999综合网| 日美免费黄片| 色眯眯射| 福利视频网站| 国产综合操逼高清| 又摸又舔在线观看网站| 啊啊啊久久| 777奇米影视777四色| 九九无码久久精品视频| 欧美日韩国产色五月综合在线 | 激情五月天丁香| 亚洲无限观看| 丁香五六月啪啪| 亚洲人成网www| 91中文字幕在线观看| 97综合久久| 久久99人妖视频国产| 91在线/欧洲| 久久中文字幕一区不卡| 91青视频| 亚州综| 丁香婷婷啪啪| 亚洲素人综合| 91快色色色色色| 超碰97最新人妻| 激情 欧美 亚洲 小说| 久久久久久夜夜夜夜夜| 91天堂| 激情av| 国产sv美女内射| 久久露脸国产老熟女| 九九人妻| 在线观看中文av字幕| 日本精品九九九| 欧美一级国产一级| 成人久久精品| wwwxxx日本爽| 禁十八久久| 97精品网| 久久国产精品91| 国产毛片毛片4p懂色| 久久最新免费视频23| 精品亚洲| 亚洲色图a| 欧美综合色,www| 久久久无码国精品无码三区三区| 91天美免费| 亚洲激情网一二三四区| 亚洲色狠| 99啪啪| 国产1024在线播放| 亚洲欧美精品一区天堂久久| 无码78| 午夜呻吟欧美| 九九精品99| 禁十八久久| 亚洲天堂一区二区久久| 激情五月天校园春色网| 亚洲乱码国产乱码精网站| 日日骚av| 偷拍 亚洲| ji熟女.com| 超碰碰小说97| 综合欧美激情网| 亚洲成人AB| 99热免费| 日韩欧美aⅴ综合网站发布| 影音资源男人日韩| 九九热免费视频| 亚洲天堂在线怕怕视频| 五月开心久久AV官网| 亚洲欧美激情在线视频| 啊啊啊啊啊啊在线观看| 天天爽夜夜欢视| 国产中文字幕曰本毛片| 大香久久| 另类天堂| 色色毛片| 青青国产在线拍揄自揄拍| 亚洲欧美国产其他二区| 国产精品视频在线观看| 插老姨肥穴| 婷婷五月天av| 在线岛国新天堂8| 亚洲国产精品久久久久婷婷老年| 久久久爆乳翘臀一线天伦理视频| 综合激情二| 久久99干一本高清| 日本免费不卡二区| 日韩中文字幕人妻视频| 欧美东京热青青草| 亚洲日产专区婷婷| 中文字幕在线播放2中文字幕在线观看2 | 亚洲乱色熟女一区| 亚洲 欧美 日韩另类 麻豆| 中文字幕精品丝袜| 熟女突然公开看18禁影片| 人人性爱视频免费| 欧美综合亚洲| 色偷偷色偷偷欧美日韩| 婷婷丁香五月综合| 秋霞无码av鲁丝片一区| 啊啊啊啊无码| 91成人国产综合久久精品蜜月| 综合五月婷婷| 园内精品自拍视频在线播放| 激情小说亚洲色图| 色综合99999| 久草尤物| 99re6国产精品99re| 亚洲欧洲视频小说在线观看| aⅴ日韩成人电影av在线免费看av大全 | 蜜臀AV午夜精品久| 91操人| 国产老熟女| 欧美成人性爱视频大全| 91丝袜在线观看| 日韩熟女视频二区| 人人操天天爽| 99热综合| 国产精选三级在线观看| 天天做日日做| 亚洲欧洲av影音| 性综合网| 91 亚欧| 超碰久久综合| 成人精品欧洲亚洲| 亚洲综合小视频小说在线观看| 毛片视频白嫩| 超踫中文字幕| www.久久爱| 色狠狠色| 亚洲超碰AV| 强奸乱伦αv片| 亚洲av影院在线观看| 日韩激情小说一区二区| 国产操逼视频在线观看| 国产AV中文| 特色a在线上| 999综合网| 日产操逼| 国产精品日本无码A片| 欧美性爱综合,免费| 美日韩男女操屄视频|