日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

“uncorr. ecc 顯示 2”是什么?詳解 ECC 糾錯(cuò)與 MBIST 內(nèi)存自檢

“uncorr. ecc 顯示 2”是什么?詳解 ECC 糾錯(cuò)與 MBIST 內(nèi)存自檢 每次看到內(nèi)存相關(guān)的告警我都覺得這是和整臺(tái)服務(wù)器打交道中最讓人神經(jīng)緊張的一類問(wèn)題。想必不少搞過(guò)服務(wù)器、NAS或者嵌入式設(shè)備的朋友都有過(guò)類似的經(jīng)歷某個(gè)深夜管理界面突然彈出一條提示上面寫著uncorr. ecc 顯示 2。第一眼看到這臺(tái)設(shè)備還活著業(yè)務(wù)沒(méi)斷心里會(huì)稍微松一口氣但緊接著就全是問(wèn)號(hào)——“2”到底指什么是內(nèi)存已經(jīng)壞了兩個(gè)bit還是已經(jīng)有兩條內(nèi)存條徹底報(bào)廢了我今天想把這些事徹底聊明白。所謂 ECC全稱是 Error Correction Code糾錯(cuò)碼它能讓內(nèi)存在讀取數(shù)據(jù)時(shí)自動(dòng)發(fā)現(xiàn)錯(cuò)誤而且絕大多數(shù)情況下能把錯(cuò)誤當(dāng)場(chǎng)修好。你看到的uncorr. ecc里的 uncorr是 uncorrectable 的縮寫意思是這個(gè)錯(cuò)誤已經(jīng)超出了 ECC 能修復(fù)的范圍數(shù)據(jù)確確實(shí)實(shí)被破壞了。至于后面那串和 MBIST、SMART 相關(guān)的計(jì)數(shù)本質(zhì)上都在描述同一件事存儲(chǔ)系統(tǒng)正在從“能自救”滑向“即將失控”的那個(gè)臨界點(diǎn)。這篇文章我盡量用大白話把 ECC 的糾錯(cuò)邏輯、MBIST 自檢機(jī)制以及遇到不可糾正錯(cuò)誤之后到底該怎么定位和替換內(nèi)存一次性講清楚。適合正在維護(hù)服務(wù)器/ NAS 的運(yùn)維也適合做嵌入式開發(fā)或者自己攢機(jī)器跑數(shù)據(jù)的朋友。1. ECC 到底是什么從一次報(bào)警說(shuō)起1.1 一次真實(shí)的“uncorr. ecc 顯示 2”事件我手上那臺(tái)自組 NAS跑的是 TrueNAS平時(shí)負(fù)責(zé)家里和幾臺(tái)工作機(jī)的備份。那天凌晨收到告警郵件進(jìn)管理界面一看存儲(chǔ)狀態(tài)里赫然寫著uncorr. ecc 顯示 2。機(jī)器沒(méi)有立刻崩潰硬盤也還正常但這個(gè)數(shù)字讓我整個(gè)人清醒了。因?yàn)樵趦?nèi)存 ECC 的場(chǎng)景下uncorrectable這個(gè)詞一出現(xiàn)意味著數(shù)據(jù)完整性已經(jīng)不是“可能有問(wèn)題”而是“已有實(shí)實(shí)在在的損失”。按照我后來(lái)的排查經(jīng)驗(yàn)這類計(jì)數(shù)一般來(lái)源于兩類設(shè)備要么是服務(wù)器/工作站主板上的內(nèi)存控制器把內(nèi)存的 Machine Check 事件記錄到了系統(tǒng)日志里要么是存儲(chǔ)控制器的 SMART 或管理界面把磁盤、SSD 或者 RAID 卡檢測(cè)到的不可糾正介質(zhì)錯(cuò)誤統(tǒng)計(jì)成數(shù)字。不管來(lái)源是哪一個(gè)uncorr. ecc 顯示 2都代表底層硬件已經(jīng)發(fā)生了兩次它自己救不回來(lái)的錯(cuò)誤??杉m正錯(cuò)誤Correctable ErrorCE是黃燈可以繼續(xù)觀察而不可糾正錯(cuò)誤Uncorrectable ErrorUE是紅燈它已經(jīng)不是預(yù)警而是事故通報(bào)。1.2 ECC 糾錯(cuò)原理為什么能糾正 1 位錯(cuò)誤ECC 的底層邏輯并不玄乎它就是在原始數(shù)據(jù)之外額外存一組校驗(yàn)位讓合法的數(shù)據(jù)組合之間保持足夠的“距離”一旦某一位翻轉(zhuǎn)成錯(cuò)誤值接收方可以通過(guò)校驗(yàn)規(guī)則反推出原始數(shù)據(jù)?,F(xiàn)在絕大多數(shù) ECC 內(nèi)存采用的是 SEC-DEDSingle Error Correction, Double Error Detection方案能糾正 1 位錯(cuò)誤同時(shí)能檢測(cè)出 2 位錯(cuò)誤。具體到內(nèi)存條上你看到的是這樣一組數(shù)字標(biāo)準(zhǔn) DDR 內(nèi)存數(shù)據(jù)位寬是 64 位而 ECC 版本的數(shù)據(jù)總線是 72 位多出來(lái)的 8 位就是校驗(yàn)位??梢赃@么理解每 64 位用戶數(shù)據(jù)硬件都會(huì)生成 8 位糾錯(cuò)碼打包成 72 位的數(shù)據(jù)字放進(jìn)內(nèi)存顆粒里。因?yàn)閮?nèi)存顆粒多為 x8 位寬所以一條 ECC 內(nèi)存條往往要多配一兩顆 DRAM 專門存校驗(yàn)位。這個(gè)“靠冗余碼糾錯(cuò)”的思路日常生活中很常見。身份證號(hào)最后一位就是校驗(yàn)碼用來(lái)發(fā)現(xiàn)前面數(shù)字的抄寫錯(cuò)誤拍 X 光片時(shí)如果機(jī)器抖動(dòng)圖像上會(huì)出現(xiàn)重影但如果你知道固定的重影偏移量也能反推出清晰的原始影像。ECC 就是把這種推測(cè)做成了一套嚴(yán)密的數(shù)學(xué)規(guī)則它不需要“猜”而是按照漢明碼和擴(kuò)展?jié)h明碼的算法直接算出錯(cuò)誤位置然后翻轉(zhuǎn)糾錯(cuò)。需要注意的是ECC 擅長(zhǎng)的是處理極小概率的單比特翻轉(zhuǎn)比如宇宙射線打中存儲(chǔ)電容導(dǎo)致某一個(gè) bit 變了但如果某個(gè)存儲(chǔ)單元已經(jīng)徹底老化連續(xù)多個(gè) bit 都出錯(cuò)SEC-DED 也只能干瞪眼報(bào)出不可糾正錯(cuò)誤。至于為什么偏偏是 8 位而不是理論上的 7 位64 位數(shù)據(jù)用最基本的漢明碼確實(shí)只需要 7 個(gè)校驗(yàn)位但工程實(shí)現(xiàn)為了按字節(jié)組織糾錯(cuò)邏輯并加入“檢 2 位錯(cuò)誤”的增強(qiáng)能力最終統(tǒng)一采用 8 位方案。DDR 標(biāo)準(zhǔn)里 648 的位寬格局也因此固定下來(lái)沿用至今。1.3 系統(tǒng)級(jí) ECC 與 On-Die ECC 的差別這幾年大家選購(gòu) DDR5 設(shè)備時(shí)常常被一個(gè)概念搞混DDR5 內(nèi)存顆粒內(nèi)部帶有 on-die ECC。于是有人以為只要用了 DDR5 就等于有了 ECC 保護(hù)。這是個(gè)誤區(qū)。DDR5 的 on-die ECC 是把糾錯(cuò)邏輯放到 DRAM 顆粒內(nèi)部主要為了改善顆粒在更小制程下的數(shù)據(jù)保持能力降低刷新頻率的損耗。它在內(nèi)存控制器看來(lái)是透明的和系統(tǒng)真正使用的“平臺(tái) ECC”完全是兩回事。系統(tǒng)級(jí) ECC 由 CPU 的內(nèi)存控制器完成。只有當(dāng)你用的處理器、主板和內(nèi)存條三端都支持 ECC并且內(nèi)存在讀寫時(shí)每次都附帶校驗(yàn)位這才是完整的平臺(tái)級(jí)糾錯(cuò)方案。你依然需要買標(biāo)著 ECC、或者明確是 RDIMM/UDIMM ECC 版本的內(nèi)存條而不是隨便一根 DDR5 普通條。也就是說(shuō)DDR5 內(nèi)在的糾錯(cuò)能力是幫顆粒自己“續(xù)命”不能幫你保護(hù)應(yīng)用數(shù)據(jù)。理清楚這一層之后再回頭看uncorr. ecc 顯示 2、MBIST 這類日志腦子里就有一個(gè)清晰的坐標(biāo)這些是系統(tǒng)級(jí)或者存儲(chǔ)控制器級(jí)的記錄和 DDR5 內(nèi)存自帶的內(nèi)部 ECC 不是同一個(gè)層面。2. MBIST ECC上電自檢時(shí)發(fā)生了什么2.1 MBIST 到底是什么MBIST 的全稱是 Memory Built-In Self-Test中文叫存儲(chǔ)器內(nèi)建自測(cè)試。它是在芯片出廠時(shí)就集成到硅片里的一段測(cè)試邏輯專門用來(lái)對(duì)片內(nèi)的 SRAM、寄存器文件、緩存等存儲(chǔ)陣列做讀寫健康檢查。核心價(jià)值在于不需要外部測(cè)試儀器只要給芯片上電、發(fā)送一個(gè)觸發(fā)信號(hào)芯片就能自己往存儲(chǔ)單元寫測(cè)試圖案、再讀出來(lái)比對(duì)從而判斷哪些單元存得住 0、哪些存得住 1。內(nèi)部跑的大部分是 March 算法最常見的有 March C- 等變種。它們會(huì)按特定順序?qū)Υ鎯?chǔ)單元做寫 0、讀 0、寫 1、讀 1 等操作用來(lái)暴露固定故障比如某個(gè)位永遠(yuǎn)卡在 0 或 1、翻轉(zhuǎn)故障和相鄰單元干擾。這套算法在芯片量產(chǎn)測(cè)試?yán)锓浅8咝缀醭闪舜鎯?chǔ)測(cè)試的標(biāo)配。很多 MCU 和 SoC 在每次上電啟動(dòng)時(shí)都會(huì)自動(dòng)跑一遍 MBIST只有測(cè)試通過(guò)才繼續(xù)加載引導(dǎo)程序。2.2 MBIST 與 ECC 的配合邏輯如果說(shuō) ECC 是運(yùn)行時(shí)的“保險(xiǎn)”那 MBIST 更像是上電前的“體檢”。在服務(wù)器、網(wǎng)絡(luò)交換機(jī)和汽車電子設(shè)備里兩者常常成對(duì)出現(xiàn)。設(shè)備上電瞬間跑一次 MBIST用最直接的方式把物理壞塊暴露出來(lái)設(shè)備正式運(yùn)行后內(nèi)存單元如果因?yàn)殡妷翰▌?dòng)、溫度變化或者帶電粒子擊中發(fā)生瞬時(shí)錯(cuò)誤ECC 又可以在幕后默默糾錯(cuò)不讓上層應(yīng)用感知到異常。汽車和工控領(lǐng)域尤其重視這套組合。出于功能安全的要求芯片需要保證對(duì)隨機(jī)硬件故障有足夠的探測(cè)覆蓋率所以工程師不僅會(huì)把 MBIST 放在上電流程里還會(huì)設(shè)計(jì)成系統(tǒng)運(yùn)行到安全狀態(tài)時(shí)周期性觸發(fā)。例如在自動(dòng)駕駛控制器里CPU 會(huì)在停車等待時(shí)趁機(jī)跑一段 MBIST確認(rèn)關(guān)鍵 SRAM 沒(méi)有出現(xiàn)永久性缺陷而 ECC 則負(fù)責(zé)在高負(fù)載運(yùn)行期間兜住零星的軟錯(cuò)誤。所以當(dāng)日志里同時(shí)出現(xiàn) MBIST 測(cè)試失敗和 ECC 報(bào)錯(cuò)時(shí)問(wèn)題的性質(zhì)就非常清晰了MBIST 失敗意味著硬件本身有物理缺陷ECC 報(bào)錯(cuò)則說(shuō)明數(shù)據(jù)層面已經(jīng)出現(xiàn)了可感知的影響。這時(shí)候別再把責(zé)任推給偶發(fā)干擾直接按硬件故障處置。2.3 為什么瞬時(shí)故障也會(huì)被 MBIST 漏掉這里有一個(gè)很常見的誤解既然芯片上電時(shí)已經(jīng)跑過(guò) MBIST為什么運(yùn)行幾個(gè)小時(shí)后還有 ECC 報(bào)錯(cuò)因?yàn)?MBIST 的本質(zhì)是“在某個(gè)時(shí)刻對(duì)所有存儲(chǔ)單元做一次性檢查”它只能證明檢查那一刻存儲(chǔ)陣列沒(méi)有明顯的物理壞塊無(wú)法預(yù)測(cè)未來(lái)幾小時(shí)內(nèi)哪一顆存儲(chǔ)電容會(huì)被高能粒子擊中。這種隨機(jī)軟錯(cuò)誤在流量小、溫度低的時(shí)候更容易被觀察但只要發(fā)生一次ECC 就會(huì)出手。所以你看到uncorr. ecc 顯示 2的時(shí)候不要急著指責(zé) MBIST 沒(méi)干活。正相反MBIST 已經(jīng)把硬件缺陷的“存量”清理過(guò)一次了ECC 記錄的是運(yùn)行過(guò)程中新產(chǎn)生的“增量”。這也解釋了現(xiàn)代 RAS可靠性、可用性、可服務(wù)性設(shè)計(jì)為什么要同時(shí)布這么多道防線MBIST 篩選物理缺陷ECC 糾正瞬時(shí)錯(cuò)誤CE/UE 計(jì)數(shù)把問(wèn)題風(fēng)險(xiǎn)暴露給運(yùn)維。一套鏈路缺一不可。3. 看到 ECC 報(bào)錯(cuò)怎么辦定位與處置實(shí)戰(zhàn)3.1 先分清 CE 和 UE處理 ECC 報(bào)錯(cuò)的第一原則永遠(yuǎn)是先分清這是可糾正錯(cuò)誤還是不可糾正錯(cuò)誤。CE 是系統(tǒng)已經(jīng)通過(guò) ECC 算法把數(shù)據(jù)救回來(lái)的記錄UE 是數(shù)據(jù)恢復(fù)失敗的記錄。兩者的處理節(jié)奏完全不同CE 只需要關(guān)注頻率低頻率可以忽略高頻率意味著硬件正在劣化UE 則必須立刻定位和替換因?yàn)樗呀?jīng)造成過(guò)數(shù)據(jù)損失。在 Linux 服務(wù)器上排查時(shí)我用得最多的是 mcelog 和 rasdaemon。mcelog 是老牌的 x86 錯(cuò)誤解碼工具適合把 Machine Check 信息從內(nèi)核 ring buffer 里導(dǎo)出來(lái)??梢园阉渲贸?systemd 服務(wù)或者后臺(tái) daemonmcelog --daemon mcelog --client新一些的發(fā)行版更推薦 rasdaemon它會(huì)把 EDAC 驅(qū)動(dòng)上報(bào)的 CE/UE 統(tǒng)計(jì)持久化方便隨時(shí)查看歷史記錄journalctl -u rasdaemon ras-mc-ctl --errors如果系統(tǒng)裝了 edac-utils也可以直接看內(nèi)核暴露的實(shí)時(shí)計(jì)數(shù)edac-util --status這種輸出會(huì)按內(nèi)存控制器、通道和 DIMM 槽位的粒度列出錯(cuò)誤計(jì)數(shù)是快速判斷“哪條內(nèi)存有問(wèn)題”的第一手資料。CE 和 UE 的含義差別可以用下面這張表概括指標(biāo)全稱含義處置建議CECorrectable Error單比特錯(cuò)誤被糾錯(cuò)算法救回?cái)?shù)據(jù)無(wú)損觀察頻率持續(xù)攀升則計(jì)劃更換UEUncorrectable Error錯(cuò)誤超出糾錯(cuò)能力數(shù)據(jù)已損壞盡快定位 DIMM安排下線更換MBIST FailMemory BIST Failure存儲(chǔ)陣列存在物理缺陷硬件級(jí)測(cè)試失敗直接更換顆粒所在芯片或內(nèi)存條3.2 定位到具體槽位知道系統(tǒng)有錯(cuò)只是第一步真正的問(wèn)題是找到錯(cuò)在哪根內(nèi)存條上。我的排查順序一般是這樣先看 EDAC 的 sysfs 信息在內(nèi)核接口目錄下找到內(nèi)存控制器的錯(cuò)誤統(tǒng)計(jì)。使用 edac-util 可以直接輸出“哪個(gè)控制器、哪個(gè)通道、第幾個(gè)內(nèi)存槽”的粒度。不過(guò)要注意EDAC 的槽位編號(hào)和主板上絲印的 DIMM 編號(hào)往往不是一一對(duì)應(yīng)的需要配合主板手冊(cè)做映射。所以下一步就是用 dmidecode 把內(nèi)存條詳細(xì)信息抓出來(lái)dmidecode -t memory | grep -E Locator:|Size:|Speed:|Part Number:|Serial Number:|Manufacturer:這里L(fēng)ocator字段最有用它通常直接給出DIMM_A1、DIMM_B2這類主板上印著的物理位置配合服務(wù)器機(jī)箱里的 LED 故障燈就能快速鎖定目標(biāo)。如果是帶 iLO/iDRAC 的服務(wù)器管理界面上通常會(huì)有可視化的內(nèi)存槽位圖甚至直接把故障槽位用紅色高亮出來(lái)。命令行環(huán)境下也可以直接查系統(tǒng)事件日志ipmitool sel list | grep -i correct\|mem這套組合拳打下來(lái)基本可以保證你不會(huì)在機(jī)房里面拿著手電筒挨根拔內(nèi)存。3.3 替換內(nèi)存和驗(yàn)證的完整流程定位到故障 DIMM 之后就是一個(gè)標(biāo)準(zhǔn)的更換流程。我把它整理成了七步每一步都不建議跳先備份所有關(guān)鍵數(shù)據(jù)。只要出現(xiàn)過(guò) UE就說(shuō)明數(shù)據(jù)已經(jīng)有被破壞的記錄備份是后續(xù)一切操作的前提。在管理界面里確認(rèn)當(dāng)前狀態(tài)能降級(jí)運(yùn)行的先降級(jí)不能降級(jí)的就安排維護(hù)窗口。關(guān)機(jī)斷電打開機(jī)箱找到對(duì)應(yīng)槽位拔下內(nèi)存條前先拍照記錄卡扣方向。換上規(guī)格完全一致的內(nèi)存條包括頻率、容量、Rank 數(shù)、是否 Registered 都要匹配。開機(jī)進(jìn)入 BIOS找到 Memory Test 或 Memory BIST 選項(xiàng)手動(dòng)跑一輪。如果設(shè)備支持讓系統(tǒng)自己執(zhí)行一遍帶 MBIST 的自檢。進(jìn)入系統(tǒng)后跑 memtest86至少完整執(zhí)行兩個(gè) pass有條件就泡一個(gè)晚上?;氐焦芾斫缑娲_認(rèn) CE/UE 計(jì)數(shù)不再增長(zhǎng)SEL 日志和 SMART 信息里沒(méi)有新增相關(guān)錯(cuò)誤條目。這套流程看似繁瑣但能避免絕大多數(shù)返工。我身邊就有同事?lián)Q完內(nèi)存后直接上線結(jié)果第二天又收到同樣告警最后才發(fā)現(xiàn)是換了根電商渠道買到的翻新條。多花一天時(shí)間測(cè)好過(guò)之后再熬一個(gè)通宵排查。4. 常見問(wèn)題速查與現(xiàn)場(chǎng)經(jīng)驗(yàn)4.1 高頻問(wèn)題清單我在幾個(gè)技術(shù)社群里泡過(guò)很久發(fā)現(xiàn)關(guān)于 ECC 的疑問(wèn)翻來(lái)覆去就是這幾個(gè)Q1日志里uncorr. ecc 顯示 2但跑 memtest 完全沒(méi)錯(cuò)誤怎么辦 Amemtest86 覆蓋的是內(nèi)存物理地址的遍歷讀寫但它無(wú)法模擬真實(shí)業(yè)務(wù)負(fù)載下的電壓波動(dòng)、溫度變化和地址映射干擾。日志里出現(xiàn)過(guò) 2 次 UE說(shuō)明運(yùn)行環(huán)境里發(fā)生過(guò)真實(shí)錯(cuò)誤哪怕 memtest 一次通過(guò)也不建議直接當(dāng)作“沒(méi)問(wèn)題”。正確做法是保留日志記錄標(biāo)記該槽位為可疑繼續(xù)觀察計(jì)數(shù)變化一旦再次增長(zhǎng)直接換條。Q2CE 計(jì)數(shù)漲得飛快但 UE 還是 0要不要換 A要。CE 連續(xù)攀升說(shuō)明顆粒的糾錯(cuò)余量正在被快速消耗今天能糾正的單比特錯(cuò)誤明天可能就變成多比特錯(cuò)誤直接演變成 UE。運(yùn)維規(guī)范里通常以“短時(shí)間內(nèi)單條內(nèi)存 CE 超過(guò)數(shù)百次”為更換閾值。Q3開機(jī)時(shí) MBIST 測(cè)試失敗是不是只能換芯片 A是的。MBIST 是硬件級(jí)測(cè)試失敗代表存儲(chǔ)陣列存在物理缺陷軟件無(wú)法修復(fù)。如果你用 SoC 或嵌入式系統(tǒng)只能更換芯片如果是服務(wù)器里的 DIMM就按內(nèi)存條故障處理。Q4新裝的服務(wù)器還沒(méi)跑業(yè)務(wù)就報(bào)uncorr. ecc正常嗎 A不正常。偶發(fā)一次 CE 還能解釋成環(huán)境干擾但 UE 一上來(lái)就有 2 次大概率是出貨時(shí)就帶內(nèi)存質(zhì)量問(wèn)題。盡快走售后別等到上線后再處理。Q5家用 NAS 用的普通內(nèi)存也會(huì)報(bào)這些錯(cuò)嗎 A不會(huì)因?yàn)槠胀▋?nèi)存沒(méi)有系統(tǒng)級(jí) ECC所以根本不會(huì)出現(xiàn)uncorr. ecc這種提示。但這不代表它不會(huì)出問(wèn)題而是問(wèn)題直接表現(xiàn)為文件校驗(yàn)失敗、系統(tǒng)崩潰、數(shù)據(jù)損壞從另一個(gè)角度更難排查。4.2 我踩過(guò)的幾個(gè)坑第一個(gè)坑是只看 “ECC” 三個(gè)字母就下單。ECC 內(nèi)存分 Registered 版本RDIMM和 Unbuffered 版本UDIMM接口長(zhǎng)得很像但有些主板只支持其中一種。買錯(cuò)了輕則無(wú)法點(diǎn)亮重則損壞主板內(nèi)存供電。選購(gòu)前一定先查主板支持的 Type、頻率和電壓。第二個(gè)坑是把服務(wù)器上的內(nèi)存故障 LED 誤判成電源故障。半夜值班的時(shí)候看到機(jī)箱里 DIMM 附近有一盞黃燈在閃以為是風(fēng)扇或電源問(wèn)題結(jié)果查了半天發(fā)現(xiàn)診斷 LED 就指向內(nèi)存槽位。后來(lái)我總結(jié)了一條經(jīng)驗(yàn)服務(wù)器上凡是貼著 DIMM 絲印范圍附近的 LED優(yōu)先去查 SEL 日志不要被燈光干擾判斷。第三個(gè)坑是換完內(nèi)存之后沒(méi)有做長(zhǎng)時(shí)間壓力測(cè)試。那一次我從二手市場(chǎng)買了一根“幾乎全新”的服務(wù)器 ECC 條外觀和 SPD 信息都對(duì)但顆粒已經(jīng)有老化跡象結(jié)果上線后 CE 計(jì)數(shù)又開始增長(zhǎng)?,F(xiàn)在我對(duì)二手內(nèi)存的態(tài)度是可以買但必須到貨后先烤機(jī) 24 小時(shí)并且優(yōu)先選擇有原廠序列號(hào)、支持在官網(wǎng)驗(yàn)證渠道的條子。第四個(gè)坑是以為 ECC 能修復(fù)一切錯(cuò)誤。ECC 只覆蓋內(nèi)存顆粒內(nèi)部的數(shù)據(jù)錯(cuò)誤當(dāng)出現(xiàn) UE 后如果換了內(nèi)存還在報(bào)那就要懷疑 CPU 內(nèi)存控制器、主板 DIMM 供電、甚至 CPU 插槽的接觸問(wèn)題。數(shù)據(jù)總線上的一根信號(hào)線斷開或者供電紋波過(guò)大都可能產(chǎn)生超出糾錯(cuò)能力的錯(cuò)誤。4.3 選型建議按場(chǎng)景決定要不要上 ECC普通辦公機(jī)、游戲機(jī)上不上 ECC說(shuō)實(shí)話差別不大因?yàn)橐话銏?chǎng)景下內(nèi)存錯(cuò)誤率足夠低斷電重啟就能恢復(fù)但如果你跑 NAS、虛擬機(jī)、數(shù)據(jù)庫(kù)或者任何“壞了數(shù)據(jù)會(huì)心疼”的場(chǎng)景ECC 就是一筆非常劃算的保險(xiǎn)。AMD 平臺(tái)相對(duì)友好Ryzen PRO 系列以及不少消費(fèi)級(jí) Ryzen 型號(hào)都支持 ECC UDIMM只是需要搭配支持 ECC 的主板Intel 消費(fèi)級(jí)平臺(tái)基本都不支持系統(tǒng) ECC要上只能走 W 系列或者 Xeon 平臺(tái)。自組 NAS 如果選擇二手服務(wù)器拆機(jī) RDIMM價(jià)格便宜但務(wù)必按前面說(shuō)的流程仔細(xì)測(cè)試。你在決策時(shí)記住一個(gè)原則就夠了ECC 不會(huì)讓機(jī)器變快但能讓機(jī)器在出錯(cuò)的時(shí)候“知道出錯(cuò)”而不是默默把錯(cuò)誤數(shù)據(jù)寫進(jìn)文件里。5. 更進(jìn)一步ECC 在整個(gè)數(shù)據(jù)鏈路中的作用5.1 SSD 也在用 ECC聊完內(nèi)存必須提一嘴 SSD因?yàn)楝F(xiàn)代固態(tài)硬盤內(nèi)部的 ECC 甚至比內(nèi)存還要復(fù)雜。NAND Flash 有擦寫次數(shù)限制隨著壽命消耗存儲(chǔ)單元的保電能力下降讀干擾和寫干擾都會(huì)讓原始錯(cuò)誤率不斷上升。主控需要用 BCH 或 LDPC 糾錯(cuò)碼把這些錯(cuò)誤比特修回來(lái)其中 LDPC 依靠軟判決可以獲得更強(qiáng)的糾錯(cuò)能力是目前的主流方案。當(dāng)你看到某塊 SSD 的 SMART 信息里出現(xiàn)Uncorrectable Error Count或Media and Data Integrity Errors這和內(nèi)存里出現(xiàn)uncorr. ecc 顯示 2是同一邏輯存儲(chǔ)介質(zhì)上出現(xiàn)了無(wú)法通過(guò)冗余碼恢復(fù)的錯(cuò)誤。區(qū)別在于內(nèi)存 ECC 是硬件即時(shí)處理的SSD 的 ECC 則由盤內(nèi)主控完成但它們都在告訴你同一件事——介質(zhì)的可靠性已經(jīng)越過(guò)紅線了。所以監(jiān)控 NAS 和服務(wù)器時(shí)SMART 里的 ECC 相關(guān)計(jì)數(shù)同樣要盯緊。5.2 從內(nèi)存 ECC 到端到端數(shù)據(jù)完整性如果把視野拉遠(yuǎn)你會(huì)發(fā)現(xiàn)現(xiàn)代數(shù)據(jù)中心幾乎每一層都有自己的校驗(yàn)機(jī)制ECC 只是第一環(huán)。內(nèi)存在 CPU 和內(nèi)存之間做校驗(yàn)PCIe 總線傳輸時(shí)帶有 CRCNVMe 協(xié)議支持端到端數(shù)據(jù)保護(hù)SCSI/Block 層還有 T10-PI 這類數(shù)據(jù)完整性字段連文件系統(tǒng)層面也有 ZFS 或 Btrfs 的 checksum。數(shù)據(jù)每走一段就有一層校驗(yàn)在盯梢。這種分層設(shè)計(jì)給我最大的啟發(fā)是不要試圖在一個(gè)點(diǎn)解決所有問(wèn)題。內(nèi)存 ECC 解決內(nèi)存顆粒的錯(cuò)誤總線校驗(yàn)解決信號(hào)傳輸?shù)腻e(cuò)誤文件系統(tǒng)校驗(yàn)解決磁盤和路徑上的錯(cuò)誤。拿我那臺(tái)出過(guò)uncorr. ecc的 NAS 來(lái)說(shuō)最終讓我放心繼續(xù)使用的不只是換了一根內(nèi)存條還包括 ZFS 自己會(huì)對(duì)每個(gè)數(shù)據(jù)塊做校驗(yàn)?zāi)芗皶r(shí)發(fā)現(xiàn)并報(bào)告可能被污染的文件。這種“多層冗余”的思路才是在長(zhǎng)跑中保證數(shù)據(jù)安全的正解。5.3 規(guī)劃存儲(chǔ)和服務(wù)器時(shí)把 ECC 當(dāng)作默認(rèn)項(xiàng)最后說(shuō)點(diǎn)采購(gòu)層面的建議?,F(xiàn)在不管是公司采購(gòu)服務(wù)器還是朋友讓我推薦小型 NAS 硬件我都會(huì)默認(rèn)把 ECC 內(nèi)存列為必選項(xiàng)而不是可選項(xiàng)。它的成本增量相對(duì)于整機(jī)可能只有百分之幾但換來(lái)的是一整套可觀測(cè)、可量化的錯(cuò)誤報(bào)告機(jī)制。沒(méi)有 ECC錯(cuò)誤發(fā)生時(shí)就悄無(wú)聲息等你發(fā)現(xiàn)往往已經(jīng)晚了有了 ECC機(jī)器會(huì)主動(dòng)告訴你“我這兒撐不住了”你就有機(jī)會(huì)在數(shù)據(jù)真正完蛋之前動(dòng)手修復(fù)。說(shuō)實(shí)話直到現(xiàn)在我看服務(wù)器日志的時(shí)候還是會(huì)習(xí)慣性地先掃一眼 CE 和 UE 計(jì)數(shù)。經(jīng)歷過(guò)幾次內(nèi)存故障之后我最深的體會(huì)是uncorr. ecc 顯示 2并不等于世界末日但它是硬件發(fā)來(lái)的最后通牒。別拖、別猶豫按流程定位、更換、驗(yàn)證一鼓作氣做完系統(tǒng)又會(huì)安靜如初。愿大家的日志里永遠(yuǎn)只有 CE沒(méi)有 UE。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
中文字幕,人妻,日韩| 懂色AV中文| 日本一本道A级黄色毛片试看60分钟| 黄色AAAAAAAAAAA大片| 夜色AV无码手机在线影院| 熟女六十路| 婷婷在线视频| 亚欧美天堂在线| 精品人妻一区二区乱码一区二区| 熟女熟妇伦久久影院毛片一区二区 | 最新岛国大片| 九九色色| 蜜臀99999| 国产精品对白自产拍| 狠狠操使劲操| 女同女同恋久久级三级| 99热国产| 91嫩草欧美| 狠色婷婷久久一区二区三区_| 久草电影网| 综合另类| 18禁超污无遮挡无码免费网| 伊人五月天| 五月天春色激情网| 99re6国产精品99re| av东京热男人的天堂| 少妇久久久| 又大又长又粗又爽又黄| 黄色视频高清无码网站| 久热大香蕉| 免费作爱一级视频| 人妻天天夜夜爽一区二区| 日韩钢筋无码高清啾啾啾| 综合色久欲| 狠狠躁伊人中文字幕| 91天天| 久草视频观看视频在线| 日韩AV一区二区三区四四| 青久操| 国产精品盗摄 偷窥盗摄| 97操| 欧美黄片视频在线观看免费| 国产精品青青草| 精品中文日韩字幕视频| 手机看片91人妻| HEYZO高无码国产精品227| 啊啊啊啊视频免费| 午夜在线播放| 人人爱操| 男人亚洲91首页在线| 伊人精品视频| 人人操 欧美| 成人麻豆av电影网站| 3571色综合一区二区二区| 亚洲综合一| 大色综合| 黄骗免费| 亚洲一本色码中文字幕| 亚洲欧美日韩激情不卡| 免费人成在线观看网站品爱网| 亚洲无码99| 97视频7| 久久久久密臀一区二区| AⅤ片水多多| 日本精品一区二区三区四区的功能| 另类 日韩 熟女| 蜜臀AV一区二区三区激情综合| 91中文字幕在线观看| 中文字幕91页| 在线视频五十市| 91精片| www.色99| 婷婷爽人人婷婷爽视频| 国产高清成人传媒影视| 久久久78| 午夜大香蕉| 狠狠躁天天躁日日躁| 97天堂| 日本污ww视频网站| 男女91| 玖玖久久久| 无码日韩网站| 久久噜噜噜精品国产亚洲综合| 不卡av在线中文字幕| 日韩天堂av电影在线观看| 理论久久婷婷网8| 久精品无码av一区二免费国产在线观看 | 青青草公开在线免费不卡视频| 日韩丰满熟妇| 九七人妻在线| 人人妻人人狠人人| 亚洲狠狠入| 久久性视频| 欧美综合色| 成年女人一区| 黑人与人妻| 国产不卡免费在线视频| 超碰日韩美妻| 欧美三级中文字幕hd| 久久精品99久久久久久| 成人免费福利在线观看| 国产精品69久久久久久久 | 色五月婷婷色| 天天色欧美| 成人在线视频二区| 超碰97人妻免费在线| 天美一二三在线观看Av| 园内精品自拍视频在线播放| 天天大干大香蕉| 日韩成人精品视频自拍| 蜜臀网址在线| 大香蕉伊利av| 乳欲人妻办公室奶水| 亚州成人a∨| 中文乱码字字幕在线第5页| 91麻豆天美国产| 人妻精品视频一区二区三区| 操人妻丝袜高跟| 啊啊啊啊免费视频| 久久成年精品| 久久成人国产精品| 女人的天堂大香蕉网| 欧美午夜视频精品久久| 欧美色图另类图片| 夜夜操av亚洲一区二区| 成人三级片无码| 国产妇女精品视频青青草| A 天堂在线观看视频| 一本色道熟妇| 91nbbbbbb| 夜夜草网站| 亚洲欧美999| 久久噜噜噜精品国产亚洲综合| 国产亚洲精品美女久久久| 国产熟女高潮一区二区三区| 黑丝少妇| 91综合色噜噜| 欧美综合传媒| 91亚州日韩高清| 第四色奇米影视777| 安微少妇操BBB| 1区2区3区在线视频| 韩三级a视频在线观看| 日韩av色图综合| 在免费jIzzjIzz在线视频| 淫荡网址| 久久久久久9999| 色9999日韩国产| 久久女人| 国产精品3| 香一区二区三区| 99成人| 传媒在线观看一区二区三区| 久久久久久久九九九九九九| 在线观看中文av字幕| 久久婷婷苹果| 精品射1999| 国产亚州精品美女久久久免费| 人妻久久一区二区三区| 第四色色综合91| 岛国毛片手机在线观看| 性夜影院爽黄A爽免费动漫| 男人精品天堂一区| 国产suv精品一区二区四区999 | 丰满搜索结果 -第18页- 久久高清无码 | 爱干爱射网啊啊啊| 中文字幕永久在线| 中文字幕乱在线伦视频中文字幕乱码在线| 在线二区不卡| 噜噜噜亚洲精品| 免费观看有码高清视频| 超碰人人草| 熟妇xxxxx性春色| 久久高潮妇女视频| 久久久久久裸体 | 亚洲色图a| 一级黄色视频网| 无码人妻一区二区三区免费九色| 色69大色97香蕉| 中文字日本乱码| 亚洲麻豆精品二区三区| 人人爱人人操人人性| 98久久| 色亚洲欧美| 91欧美性| 亚洲永久永久永久永久一级一级一级精品| 色综合98| 国产四虎在线| 性一交一乱一交A片久久四色| 精品成人无码| 亚洲欧美国产va在线播放频| 亚洲色图欧美色图另类图片| 蜜臀久久99精品久久久久久成人小说 | 日韩免费av片高清无码| 国产精品第一页国产大屁股视频免费区| 98福利在线视频| 日韩精品99久久久久久中文字幕 | 亚洲欧美日韩精品久久久一区二区| 国产主播福利| 久久久久久久性爱| 欧美一区二区三区成人性生活| 青青草精品| 无码伊人久久大杳蕉中文无码| 中文字幕久热视频在线| 色欧洲| 成人国产二区三区在线,男女精品。| chaopen97久久| 日本免费一区二区不卡| 91精品人妻五十路| 亚洲偷拍欧美激情| 玖玖爱伊人玖玖爱| 91处女在线视频| 一区二区首页| 波多野结衣一级视频| 国内操逼视频二区| A片 AV一级在线播放观看免费 | 最近的最新的中文字幕视频| 97爱爱爱| 亚洲一区二区麻豆影院| 精品女同一区| 人妻少妇三级| 凹凸久久人人| 网友自拍第1页| 又黄又硬又粗又长国产视频| 日本一卡二区在线| 青青伊人这里只有精品| 国产精品电| 欧美日韩精品青青| 好一吊区二区| 欧美综合综合| 精品综合久久久久久五月天| 永久电影三级在线观看| 影音先锋视频在线| 欧美性爱在线无码| 国产高清1234区| 亚洲色图在线视频| 9久久美女首页| 足交视频老司机| 久久久9 9 9精品| 91精品免费| 狠狠97| 91 天天综合| 97超碰伊人| 日韩久射综合| 色综合av综合久久| 国产曰批免费观看久久久| 影视综合无码少妇| 5278欧美一区二区三区| 乱人伦 国语对白:视频直接看| 嗯嗯啊啊的视频| 天天影视网综合少妇| 久久riav中文精品| 色偷偷2020免费视频播放| 欧美中文字幕一区 | 精品夜夜澡人妻无码| 性老妇一区二区三区| 97亚洲在线| 色官网在线| 中文字幕日韩专区精品系列| 国产一区二区免费福利片| 三级AV入口| 天天色播亚洲综合网站| 91女神在线视频| 二级久久网| 手机av亚洲丝袜美腿日韩第一页二页| 亚洲欧美碰碰| 美国精品国产精品| 青青网三级视频| 91麻豆天美传媒HD| 日韩欧美麻豆 | 嗯嗯啊好大| 五月天AV资源| 日本潮催一卡操| 黄片无码在线制服| http://qxhbdz.com| 亚洲不卡不卡中文字幕不卡| 天堂精品一区| 亚洲无码偷拍| 丁香五月电影| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 免费视频观看60秒| 亚洲 自拍偷拍 欧美| 97自拍视频在线| 久久伊人青青草| 91操熟女视频| 亚洲欧美一区二区网址| 91操碰| 97视频900| 麻豆天美传媒毛片| 色婷婷网| 韩国嫰模上门援交视频| 久久人妻| 99久久综合网| 亚洲色图欧美色图制服诱惑| 欧美巨大性舒爽顶到了| 久久99精品视频| 91爰爱欧美| 中国人高清www色视频免费| 强奸国产精品视频| 日日干夜夜干| 9久9久| 黄色一区二区秘书性感| 日日A∨| 亚洲最新Av| 久久久精品91八戒| 日本不卡高清免v欧美日韩在线观看| 欧美女同在线| 欧美性爱第一区| 亚洲天堂另类美腿| 超碰在线91| 亚洲国产一级精品毛一级精品看免费视频 | 美女写真| 丰满人妻-区二区三区免费| 曰韩香蕉97| 婷婷丁香激情| 国产熟女少妇一区| 亚洲美女精品九九视频| 立川理惠加勒比无码| 久久亚洲色图中文字幕| 岛国成人av在线播放网址| 嗯嗯啊啊视频在线看| 一区二区播放| 操逼网站视频漫画国产| 热的中文 热的有码 热的国产| 欧美中文字幕日韩在线| 日韩久久三区| 东京热双插| 亚洲综合五月天| 在线免费试看60秒| 精品视频免费在线一区| 9999亚洲电影| 亚洲综合另类小说色区亚洲成av人片在www| 夜夜爽爽爽| 欧美97色| 久久久婷婷| 一本色道久久综合狠狠操| 亚洲暴力强奸AV| 牛牛久久国产精品视频一二三| 国产精品久久aV| 91女在线观看| 超碰日韩人妻| 欧美亚洲日韩16色| 3P乱轮视频| 青青草五月天| 搡老女人老妇女AAA一VU麻豆| 欧美熟女妇同| 国产A v无码专区| 伊人大香蕉在线| 国产女大学生AV| 天天操天天射青青草| 囯戸精品高潮呻吟旡码| 一区二区三区精品黑丝白丝酒店对鸡| 男人的天堂va| 75大香蕉| 手机在线人成免费视频| 加勒比色99999| 天天干,天天日| 精品午夜福利| 中文字幕天天天天天| 免费啪啪av| 好看的久久不射无码影视影院| 日韩中文字幕精品一区在线| 9 9无尺码天堂网| 在线a v| 免费成人在线熟妇网| 久久亚洲AV成人精品无码| 亚洲91射| 亚洲熟妇极品| 亚洲精品免费中文字幕| 国产黄片精品在线| 播播亚洲小说亚洲| 亚洲欧美视| 色色国产| 日本成a人v网站在线观看| 成人影 天天操 亚洲| 男人午夜天堂| 久草在| 婷婷色中文字幕| 精品国产Av无码久久久伦古装| 亚洲图片欧美制度| 婷婷视频在线免费观看| 色九久| 久九九九九九九热| 亚洲少妇综合在线播放| 老熟女网站| 男生女生啊啊啊啊| 欧美黄片视频在线观看免费 | 亚洲欧洲av影音| 99色日| 人妻久久久久久久久久久久久久久| 99精品在线| 五月丁香婷婷综合| 国产极品粉嫩馒头一线天av| 偷拍2020| 97视频观看| 国产精品成人无码a v毛片| 5252色欧美在线男人的天堂| 欧美黄页在线| 亚洲无992tv| 天天天堂影视日韩亚洲91| 人妻啊啊人妻啊| 免费人成在线观看网站品爱网| 极品一区二区三区免费| 激情图片亚洲色图| 丁香五月电影| 日韩欧美福利视频看看| 丝袜美腿丝袜| 日韩美女高潮喷水视频| 婷婷视频网| 国产操逼网站亚洲一级黄色| 天天综合网合集91| 欧美少妇第一页| 97色色婷婷| 超97在线精品视频| 天美一区在线| 青青草黑寡妇男人天堂| 久久香蕉网| 午夜啪啪片| 色五月AV| 91精品国产91久久久久久久久久久久| 欧美国产视频| 亚洲激情AV| 日韩欧美国产一区二区三区四区| 欧美春色| 天天操天天日青青草超碰av| 午夜天堂网| 99色综合| 秋霞免费AV| 一级AV性爱| 天天干电影| 日日AAvv| 日韩八十路老熟女| 国内黄色精品| 97五月天| 97人人超| 色婷婷丁香| 国产 亚洲 丝袜 制服| www.亚洲成人一区| 爱妃国产亚洲视频中文字幕| 狠狠干2020| 日韩精品操少妇| 有码人妻系列| 99热99re超碰精品| 午夜天堂精品久久久久91| 国产一区二区啪啪视频| 啪啪免费| 国产兽交视频在线播放| yaouchengrenav| 国产三级片在线观看| 欧美桃色网| 国产精品3| 乱子伦一区二区三区国产精品| 在线天堂999| 久久亚洲骚逼综合| 久久亚洲影院一区二区| 69超碰综合| 九九在线视频| 五月天丁香| 婷婷五月在线视频| 色五月激情网| h在线看免费版在线看| www激情| 色999五月色| 久久99网站| 人妻久久久| 91扒丝袜综合在线| 在线性黄高清免费视频| 在线岛| 国产精品亚洲一级av第二区| 污污汅18禁网站在线永久免费观看 | 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 你操综合| 国产无码一二三区| 日韩 欧美 另类 人妻| xxxx网站亚洲精品| 日韩无码a片| 久久日本熟女精品一区| 亚州乱码中文字幕综合久久久| 91蜜臀在线久久久久| 色婷婷久久| 欧美综合区| 女人被添高潮免费视频| 国产精品久久99日日| 日韩中文字幕国产| 91AV入口| 日日日日做夜夜夜夜无码| 99e久久国产精品| 黄色人人| 国语国产操逼伊人AV网| 曰韩av中文字幕专区| 欧美日韩国产色图在线| 色97欧美| 东京热,男人的天堂| 蜜臀在线网站| 色婷婷A V一二三四区麻豆综合| 五月天社区| 熟妇视频一区二区三区在线观看| 97久久精品国产| 破处bbq| julia国产在线 | 欧美大码在线视频| 欧美亚州色的图| 国产一区二区精品久久久不卡蜜臀| 成人国产二区三区在线,男女精品。| 欧美色老汉| 强歼乱伦资源网| 亚欧性爱ab| 精品国产网站| 台湾佬中文娱乐网久久久久久久久久com| 91搞逼视频| 爱丝福利| 欧美性爱超碰97| 国产偷拍网站| 333kkkk·亚洲com久久| 东北女人av| 男人的天堂日本东京热| 综合色好色| 无码WWW免费视频网站| 色播五月丁香| 日韩精品怡红院| 伊人宅男大香蕉| 歐美性天天| 欧美性性性| 操逼逼一区视频| 老熟女乱子伦中文字幕一区二区| 熟女丰满人妻一区| 久草成人影片| 日韩精品在线观看网站| 蜜桃久久精品一区二区三区| 外国91| 国内三级自拍小视频在线观看| 亚洲国成人情色好看电影| 日日骚av| 自拍偷拍国产欧美日韩韩| 夜夜爽77777| 欧美综合传媒| 欧美日本视频一区| 亚洲国产成人精品无码专区| 伊人 俄罗斯 a v| 久久久久久中文版| 100啪啪视频大全| www.男人的天堂| 日韩乱伦AⅤ| 日韩精品一二三四| 狠狠入| 五月天久久久| K8久久久久| 亚洲综合色婷婷| 在线情色电影 91大| 欧美性爱97超碰| 伊人影院日本| 丁香婷婷激情五月天无毒不卡| 久久无码一区二区二三区性色| 爱爱60秒免费视频| 操屄日韩| 91五月天| 青娱乐日韩无码| 四虎免费视频| 综合啪啪| 国产精品直播在线观看直播| 嫩草影院永久在线制服丝袜| 久久久精品视频免费观看| 精品一区二区三区蜜桃| 丁香婷婷久久| 丝袜内射| 久综合国内精品自在自线| 99热在线不卡| 国产精品蜜乳AV| 久肏视频字幕| 中文字幕丝袜人妻| 黑人嘿嘿嘿超爽免费视频| 九九九九九九九九九国产精品 | 国产在线视频午夜精华在| 亚洲情色1区| av无码av无码专区| 天天操福利视频综合网站| 日韩97超碰中文字幕| 国产乱伦性爱区| 欲综合网| 美女黑人91神马| 牛黄色久午久| 日韩二三区| 无码日韩人妻av一| 日韩人妻丝袜中文字幕| 一区二区亚州激情久婷婷欧美 | 99爱久久视频频| 粉嫩粉嫩一区性色AV片| av一区二区三区不卡| 超碰97久| 欧美性爱网97| 香蕉一区二区三区在线视频 | 天天综合网日韩7799| 97chaopengongkai| 成人开心网在线视频| 夜夜狼人妻| 亚洲激情av| 欧美少妇性乱| 久久女婷| 99精品视频在线观看| 嫩草在线视频| 一区二区免费电影久久| 神马麻豆福利院| 综合av影片| 欧美亚洲影视| 熟妇在线视频一区二区| 亚洲av影院在线观看| 国产毛片久久久久久久| 超碰97人人乐| 九九九不卡| 中文字幕国产| 欧美精品不卡一二三四在线91| 中文字幕日产av人| 日本熟人妻中文字幕在线|...久久国产精品-国产精品_日本一区二区三区中文字幕 | 五月天人妻综合| 一区二区三区成人| 欧美日韩亚洲五月天婷婷| 熟妇xxxxx性春色| 亚洲av无码成电影在线播放| 九九九九AV| 果冻传媒A片麻豆熟妇人妻| 欧美亚洲清纯| 日本片日本片祼观看网站在线看中文版网页在线看 | 亚洲高清无码在线桃色| 天天躁日日躁XXXXYY| 天天日B夜夜干B时时操B| 亚洲av淫乱| 欧美日韩国产色图在线| 丰满人妻大屁一区二区| 九九aV| 67914亚洲精品| 九九热最新| 五月婷婷激情综合| 五月开心网| 嗯阿好爽好紧| 亚洲色图第四色| 九久久九九久视频| 色图综合网| 97精品免费| 男女猛烈无遮掩视频免费软件| 中文字幕久久精视频久久大全| 日日夜夜青青草母狗| 色综合久久夜色精品国产天堂| 亚洲综合小视频小说在线观看 | 97爱| 操逼天美3区| 丁香五月综合| 青草香蕉网| 国产区在线| 国产一级作爱毛片| 999日韩中文精品观看视频。| 免费9 1久久| 人妻大香蕉| 热热色中文无码| 无遮挡男女激烈动态图| 阿姨一区二区免费视频-高清正片西瓜视频下载app-T450AV | 欧美 亚洲 偷拍自拍| 熟女人妻久久中文字幕一二区| 嗯嗯不要视频| 久久久91| 极品AV网站在线观看| 欧美成人A天堂片在线观看| 亚洲无无码αⅴ每日更新| 欧美日韩国产色图在线| 熟女AV一区| 欧美综合色,www| 日本操逼视频不卡直接放| 一级性爱aaaa| 无码99| 91性情| 台湾成人无码AV| 国产一区二区三区中文字幕| 天天干夜夜肏| 欧亚日韩一区在线| 日本人人操人人操| 91麻豆一二三区| 国产成人综合在线播放| 亚洲欧美爆| 久久专区| 九九热精品| 99精品九九九九九九| 国产免费一区在线观看| 欧美黑人日韩少妇色情| 操高情无码| 自拍二页| 久久精品人人做人人看| 美女刺激久久国产欧美| 久久区| 久久久久久性爱片| 激情欧美97| 色五月婷婷麻豆在| 青娱乐啪啪视频| 日韩在线视频1234| 酒色综合网| 色妹子A V| 中文乱码字幕观看视频| 日本亚洲vr欧美不卡高清专区| 亚洲色图综合| 日本97久久久精品| 欧美精品一区二区少妇免费A片| av在线人气| 亚洲高清无毛一区二区| 九九热在线精品视频| 九色精品视频导航1| 日韩中文字幕宗合在线| 日韩精品亚洲专区在线影视| 欧美性第1页| 18精品一区| 26uuu成人影片| 亚洲天天精品| 国产一区二区三区中文字幕| 天美传媒精品一区二区| 一区二区三区日韩欧美| 欧美性爱三区二区| 欧美91网| 宗合情欲网| 在线观看色视频| 欲香欲色综合天天伊人| 麻豆国产第一| 99精品视频在线观看| 久久国产逼| 超碰9 7女人 | 欧美日韩国第一区| 亚洲国产ⅴ高清在线观看| 亚洲色图第四色| 啊嗯好大视频在线观看| 成人日本视频人妻在线| 白丝av| 夜夜骑操视频| 精品久久久久瑟瑟| 天天色天天干天天爱| www. 男人天堂成人在线| 五月婷丁香| 俄罗斯一区二区视频在线观看 | 亚洲综合小视频小说在线观看| 熟女人妻一区二区三区| 美日韩男女操屄视频| 国产精彩女在线观看视频| 老熟女熟妇| 久精品无码av一区二免费国产在线观看 | 五月婷视频| 女人喷水视频在线观看| 亚洲成人免费中文字幕| 日本不卡二三区| 91啪啪| a天堂视频| 夜间福利片1000无码| 9国产超碰| 天天综合网网欲色| 午夜美女诱惑电源网| 欧美午夜视频| 精品人妻无码一区二区三区不卡-精品人妻无码一区二区...|精品少妇一区二区三 | 国产精品91ai| 久久久久久亚洲中文| 襙一襙| 淫荡网址| 午夜一区| 一区二区视频在看| 97日亚洲欧美| 在线天堂资源亚洲| 超碰碰97资源站| 91社区伊人| 久久伊人亚洲AV无码网站| 亚洲欧美色图片| 精品妇女一区二区三区| 99国产精品人妻人伦| 99色综合| 精品网站9999| 天天日天天射天天干| 狠狠夜色午夜久久综合在线| 立川理惠被中出无码| 无码人妻丰满热妇又大又粗| 3p国产色噜噜一区| 五月激情天| 亚洲成a人v欧美综合天堂下载| 大香久久| 日本视频在线中文字幕| 久综合国内精品自在自线| 波多野42部激情无码喷潮| 国产操偷| 亚洲精品国产熟女| 亚洲av影音先锋| 亚洲国产精品久久久久久久久久| 亚洲欧美日韩不卡人妻| 91精片| 女人双腿搬开让男人桶| 男女猛烈无遮掩视频免费软件| WWW操逼| 国产一区免费午夜视频| 中文字幕日韩人妻视频一区二区三区| 亚洲欧美在线观看2021| 91操人| 怡红院怡春院| com 首页 18岁 禁区 女优 免费 精选 同城 | 欧美影音在线| 久久αⅴ| 都市久久精品激情亚洲| 五月婷婷色色| 欧美激情 日韩精品| 亚洲天堂资源| 嫩草美女久久| 人妻少妇蜜桃视频欧美一区| 嗯嗯,好大,好爽,好骚| 欧美骚少妇| 午夜人人操| 亚洲激情综合| 9999久久久久| 精品毛片av一区二区| 综合激情五月天| 91天天综合网,天天综合网| 亚洲欧洲日韩中文字幕一区| 国产性久久久| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 伊人九九| 一级久久久久久久久久久| 中出789在线视频| 国产精品日日摸天天碰| av在线免费一区二区| 爱欲AV| 竹菊一区二区三区AV线| 综合操逼| 5252色欧美在线| 久久69| 天天干天天拍| 大香蕉2017| 3P乱轮视频| 91在线色| 亚洲精品国产专区在线观看| 中国小夫妻勾搭露脸淫荡对白| 久久无码一区二区二三区性色| 另类图片五月| 91亚洲影视| 麻豆精品久久久久久久| 97精品视频| 9久综合网| 人妻一区二区三区熟女| 国产精品亚洲免费| 伊人骚琪琪亚洲天堂网站| 国产精品久久久亚洲一区| 亚洲色人阁| 亚洲国产剧情少妇激情| 黄色片A级一区二区三区| 五月婷婷五月天| 色狠狠一区二区三区香蕉| 91丨九色丨东北熟女| 蜜臀99久久精品久久久懂爱| 800zy一区二区| 偷拍亚洲熟女视频播放| av2014 日韩在线中文字幕| 欧美极度丰满熟妇hd| 正宗无毛一线天嫩逼| 亚洲精品色| 五月亭亭六月丁香| 色色色欧美| 九九超碰综合网| 亚洲日韩成人性爱视频| 经典丝袜一区| 日本色色色视频| 美女骚尻视频| 欧美黄色大香蕉一区二区| 久久9精品网站| 岛国在线一区二区三区| 国产欧美黑人丰满在线| 在线综合色| 九九九九九九免费视频| 无码在线亚洲| 亚洲第一视频 欧美风情 日韩| 久久人人爽人人爽人人片Ⅴ| K8久久久久| 丝袜 亚洲 偷拍| 亚洲成a人v欧美综合天堂下载| 91精品丝袜久久久久久| 九九碰九九爱97超| 国产性刺激| 国产日韩色综合| 午夜毛片高清免费不卡| 人摸人人操人| 97精品视频在线播放| 99激情| 97超碰超碰| 亚洲第一页欧美| 国产精品无码av嫩草| 久艹视频在线| 床上啊啊啊一区二区三区| 一区二区三| 青青草手机在线免费观看| 一区二区三区视频国产免费| 亚洲欧美啪啪| 九九热在线精品视频| 国产一区二区二区按摩精品啪视频| 爱欲AV| 404操逼福利视频| 久久久亚洲精品中文字幕人妻| 狠狠中文字幕| 日韩操逼性鲍| 99re在线视频国产| 色婷婷综合网| 香蕉国产精品麻豆亚洲欧美日韩| 伊人久久久日韩一区| 男人的天堂一区三区| 国产AV线| 美日韩一卡二卡三卡免费人妻精品| 交换娇妻呻吟声不停中文字幕| 安微少妇操BBB| 久久久久性熟视频| japan日本高清乱xxxx| 亚洲欧美91| 欧亚第一综合网| 天天干天天狼在线视频| 白丝AV| 久久人妻无码毛片A片麻豆| 红杏大香蕉| 天天摸夜夜添无码小视频| 91天美免费| 97色欧州| 久久综合婷婷| 日韩熟女乱伦中出| 欧美天天综合在线| 欧日韩在线观看| 啊啊啊啊一区| 国产AV毛片| 啊啊啊免费视频| 亚拍在线| 五月天婷婷色| 亚洲va有码在线天堂| 夜夜爽夜夜操| 午夜精品人妻二区三区| 久久久久久大| 性做久久久久久免费观看软件| 肏逼视频日本| 国产成人精品一区| 亚州成人a∨| 亚洲AV无码AV吞精久久久久| 亚洲男人电影天堂| 美女天天干| 亚洲少妇色图自慰直播| 黄色网址久久精品欧美喷水| 国产 无码 一区二区| 国产精品不卡高清在线观看| 日韩AV噜噜噜一区二区三区四区| 91艹逼精品| 大香蕉伊人色偷偷在线| 日本性爱少妇| 欧美性爱日韩性爱| 欧美日韩国产一区二区小黄片大全| 伊人九九九| 亚洲久草AV色图| 国产欧美后入| juliaann丝袜大战黑鬼| 亚洲精品色| 日韩人妻操B| 日韩精品99999| 国产日韩欧美三级片| 在线中文字幕极品av| 国产日韩在线播放av| 亚洲国产成人精品999| 大香蕉欧美| 久久青青草在线视频| 南澳成人一级片在线播放| 伊人久日| 啊啊啊久久久视频 | 日本视频在线观看污污污| 超碰欧美| 草草草视频| 后入精品| 久久精品一区二区三区蜜桃臀| 伊人991| 又黄又粗又硬又长又大| 好湿好紧好爽 视频| 五月丁香在线| 69精品人人人人| 黄页视频网站野外| 日本性爰一道本| 欧美精品23| 免费看片黄| 欧美一二三级精品在线| 中文字幕高清精品一区| 国产美女口爆吞精视频| 18禁止看精品中文字幕| 摸奶性爱视频网站在线免费播放| 一级做a爰片性色毛片久久| 欧美在线永久天堂| 久久精品国产亚洲AV高清演员表| 日韩激情毛片一级久久久| 国产美女自拍AV| 日韩熟女乱伦中出| 精品亚洲国产成人精品| 国产无马视频| 亚洲色图亚洲无码强奸乱伦| 精品一区二区人妖| 亚洲超碰在线| 吻戏激情性巴克| 久操高青| AV丝袜少妇| 日本超碰色精品| 超碰精品人妻狠狠干| 亚洲色棕合| 澳门色噜噜色噜噜色噜噜色噜噜色噜噜| 97超碰欧美精品| 丝袜美腿亚洲| 无码免费在线观看黄色片| 三级特黄60分钟播放| 伊人网综合在线视频| 黑人黄片在线免费观看| 五月丁香| 天天淫人人妻日日色| 国产精品。| 中文日韩欧美熟| 肥臀熟女一区二区三区视频| 91欧美在线| 国产亚洲精品久久久久小| 亚洲少妇综合在线播放| 天天插天天操| www鬼畜国产男人的天堂| 国产成人AV麻豆| 97jingpin| 激情欧美97| 99久久久久久亚洲精品不卡| 操逼1区| 丁香五月婷婷五月| AND人妻系列| 亚洲图片 激情小说| 欧美亚州综合网图片| 精品视频在线观看精品| 日韩欧美aⅴ综合网站发布| 丰满的三级少妇欧美久久久| 欧美精品成人亚洲| 天堂伊人久久| 97久久久久| 在线观看不卡一区二区三区| 久久肏大逼| 99热综合在线| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 草草草视频在线免费看| 在线观看成人性爱免费小视频| 亚洲欧美激情在线视频| 精品人妻一区二区三区-国产| 美女干逼2| 久久岛国| 亚洲av综合色| 亚洲色吧网| 欧美 亚洲 91| 欧美亚洲图片| 久久精品国产亚洲AV片多多| AV天天在线观看| 嗯嗯嗯啊啊啊干死我吧| 午夜男人的天堂| 国产精品国产自产高清AV| 九九激情网| 亚洲在高跟鞋自慰久久在色线| 一本久久久精品| 成人无码在线超碰网| 欧美日韩人人精品| 久久水蜜臀亚洲AV无码精品| 日韩BBN| 色欲三区| 天天操天天插| 亚洲熟女乱色一区二区三区久久久 | 九九人妻| 人人看黄色视频| 极品极品色影院| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 91视频成人福利网站在线一区 | 午夜福利在线合集| 91人人| 国产懂色精品国产av| 欧美18禁91| 综合五月天| 天堂无码精品国产久| 中文字幕一二三区| 密臀在线视频| 日本成人电影资源网| 国产自产91区13区| 欧美 色 亚洲| 最近2019中文字幕国语免费版| 九一亚洲国产免费| 欧美天天综合在线| 日韩欧美字幕亚洲一区二区| 91夜色chaopeng| 午夜精品久久久久久久久久久久久| 亚洲一卡2卡3卡4卡乱码网站| 伊人97色天使| 美女啊啊啊啊啊| 久久99亚洲精品久久99果| 国产青青美女玩逼视频| 精品人妻免费观看| 人妻少妇一区二区| 性欧美| 全免费a敌肛交毛片免费| 婷婷情色五月天| 亚洲美女AV无码| 东京热亚洲一区二区| 天天操天天干美女网址导航| 亚洲 日韩 丝袜 熟女 变态| 久插不卡| 最新无码国产| 久久久精品日本一道| 韩日欧亚a级| 亚洲国产一区二区三区四区国产| 国产1727欧美| 国产精品亚洲无码| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 在线性黄高清免费视频| 欧洲自拍色图gif在线| 国产美女销魂在线观看不卡| 九九九久千久久激情蜜桃在线看 | 免费看A片毛毛片在线播| 大香蕉啪啪啪啪在线| 九热大香蕉| 99熟女| 激情一区二区三区在线观看| 欧美小说区视频区| 东亚亚洲无码高清| 丝袜狂射91| 日本Xx性爱| 欧美综合 站| 超碰在线观看av不卡| 久久伊人青青草| 人妻偷拍一区二区三区| 国产a级精品| 中文字幕黄片在线| 97色欧州| 91东京热男人的天堂| 日韩成人午夜精品久久高潮| 久草精品国产99| 加勒比日本在线| 久久久久久久伊人精品| 久久鲁夜| 性爱免费视频成人| 五月天加勒比啪| 日韩精品亚洲专区在线影视| 蜜臀在线看片| 91超碰人人操| 亚洲黄色AV电影| 国产乱码久久| 国产午夜精品理论片一二三区区| 国产有码一区| 无码不卡八戒| 国产十八禁视频| 亚洲无码一二三区| 国产精品97超碰| 天天操夜夜操| 睡产熟女乱伦| 免费看污网站| 日韩精品色呦呦| 蜜臀亚洲综合一二三四区| 夜夜影视四色| 亚洲熟女乱综合一区二区在线-...亚洲国产日韩欧美一区二区三区,久久久久久精 | 粉嫩av平台| 天天天天做夜夜夜夜做| 围产精品一区二区三区视频播放| 啊啊啊轻点在线观看| 五月色综合| 亚洲精品一区二区日本| 加勒比日本在线| 国产精品香蕉热久久新品| 亚洲男人在线观看天堂| 综合久草| 国产精品女生av| 玖玖资源视频一区二区三区| 五月天婷婷欧美三区|