日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

ECC內(nèi)存故障排查指南:從Uncorrectable錯(cuò)誤到MBIST自檢

ECC內(nèi)存故障排查指南:從Uncorrectable錯(cuò)誤到MBIST自檢 半夜兩點(diǎn)手機(jī)彈出一條戴爾OpenManage的告警郵件標(biāo)題寫著“Uncorrectable ECC Error Detected on Memory Slot 2”??吹健癠ncorrectable”這個(gè)詞相信不少運(yùn)維心態(tài)跟我第一次一樣完了內(nèi)存掛了系統(tǒng)怕是要重啟。結(jié)果我登上iDRAC一看系統(tǒng)還好好的SQL Server還跑著硬件健康頁(yè)里顯示那次錯(cuò)誤就記錄了一次之后計(jì)數(shù)值一直沒動(dòng)。那一晚上我基本沒睡把這臺(tái)機(jī)器的內(nèi)存日志、SMBIOS信息、內(nèi)核EDAC計(jì)數(shù)、MBIST自檢日志翻了個(gè)底朝天。第二天白天確認(rèn)這只是一根內(nèi)存條上某個(gè)bank的介質(zhì)老化ECC機(jī)制把一次本可能致命的“多比特錯(cuò)誤”攔在了系統(tǒng)之外系統(tǒng)沒宕機(jī)數(shù)據(jù)沒丟。這就是ECC內(nèi)存有意思的地方它既能幫你“擋災(zāi)”又會(huì)用一堆“uncorrectable”“CE”“UE”“MBIST”這種術(shù)語(yǔ)把你嚇得不輕。這篇就寫一寫我對(duì)ECC內(nèi)存糾錯(cuò)機(jī)制、日志解讀、MBIST自測(cè)和實(shí)際排查經(jīng)驗(yàn)的一些沉淀適合剛接觸服務(wù)器運(yùn)維的人、自己在組NAS且打算買ECC內(nèi)存的玩家、以及被內(nèi)存日志折磨過的同行參考。1. 從奇偶校驗(yàn)到漢明碼ECC糾錯(cuò)的底層邏輯1.1 內(nèi)存為什么會(huì)出錯(cuò)內(nèi)存芯片看起來很穩(wěn)定實(shí)際上是很脆弱的半導(dǎo)體結(jié)構(gòu)。從故障來源看內(nèi)存錯(cuò)誤一般可以分成三類第一類是瞬時(shí)軟錯(cuò)誤宇宙射線或者封裝材料中的微量放射性粒子打到存儲(chǔ)單元的電容上導(dǎo)致電荷翻轉(zhuǎn)典型表現(xiàn)是“單比特翻轉(zhuǎn)”。這類錯(cuò)誤是瞬時(shí)的、可恢復(fù)的也是服務(wù)器里最常見的錯(cuò)誤來源。第二類是熱噪聲與電壓波動(dòng)內(nèi)存顆粒工作在納米級(jí)的電荷量上溫度升高、電壓跌落都可能讓某一位變得不穩(wěn)定。第三類是物理?yè)p耗通電時(shí)間長(zhǎng)了、頻繁熱脹冷縮焊點(diǎn)和內(nèi)部走線出現(xiàn)異常最終形成固定的壞塊、壞bank。普通內(nèi)存沒有任何校驗(yàn)?zāi)芰θ魏我粋€(gè)位出錯(cuò)都是災(zāi)難性的。你平時(shí)用消費(fèi)級(jí)電腦偶爾遇到藍(lán)屏很多情況下就是這種瞬時(shí)錯(cuò)誤沒有被發(fā)現(xiàn)程序讀到了錯(cuò)誤的數(shù)值然后當(dāng)場(chǎng)崩潰。服務(wù)器要7x24小時(shí)跑關(guān)鍵業(yè)務(wù)內(nèi)存容量又是消費(fèi)級(jí)的幾十倍錯(cuò)誤概率自然更高。如果每一處錯(cuò)誤都不加處理數(shù)據(jù)庫(kù)跑到一半讀出一個(gè)錯(cuò)誤的余額那才是真正的大事故。所以服務(wù)器迫不得已要帶一個(gè)“校驗(yàn)員”這就是ECC存在的意義。1.2 從“知道錯(cuò)了”到“知道錯(cuò)在哪”如果只想給內(nèi)存加錯(cuò)誤檢測(cè)機(jī)制最原始的想法是奇偶校驗(yàn)每8個(gè)數(shù)據(jù)位額外存1位記錄這一組里1的個(gè)數(shù)是奇數(shù)還是偶數(shù)。讀取時(shí)重新算一遍對(duì)不上就知道出錯(cuò)了但只能知道“出錯(cuò)了”不知道是哪一位更沒法自動(dòng)恢復(fù)。所以這種方案很快被漢明碼取代。漢明碼的巧妙之處在于它給數(shù)據(jù)增加的不是一個(gè)籠統(tǒng)的校驗(yàn)位而是一組按不同組合方式計(jì)算的校驗(yàn)位每個(gè)校驗(yàn)位覆蓋數(shù)據(jù)位的一個(gè)特定子集。當(dāng)某個(gè)數(shù)據(jù)位出錯(cuò)時(shí)會(huì)導(dǎo)致多個(gè)校驗(yàn)位檢查失敗而這些校驗(yàn)位的“失敗編號(hào)”恰好就是出錯(cuò)位的索引。這樣一來系統(tǒng)不僅能知道內(nèi)存里確實(shí)有錯(cuò)還能唯一定位到是哪一位然后直接把它翻轉(zhuǎn)回去。這就是“單比特糾正、雙比特檢測(cè)”SEC-DED的含義單個(gè)位出錯(cuò)能自動(dòng)修好兩個(gè)位以上出錯(cuò)檢測(cè)機(jī)制能發(fā)現(xiàn)“出大事了”但沒法定位并修復(fù)只能拋出uncorrectable錯(cuò)誤。為了讓這個(gè)過程落到硬件上ECC內(nèi)存條比普通內(nèi)存多出一部分存儲(chǔ)芯片。普通DDR內(nèi)存是64位數(shù)據(jù)位寬ECC內(nèi)存是72位相當(dāng)于多了8位這8位用來存儲(chǔ)校驗(yàn)信息。CPU訪問內(nèi)存時(shí)內(nèi)存控制器自動(dòng)計(jì)算校驗(yàn)值讀出來時(shí)自動(dòng)校驗(yàn)整個(gè)過程的時(shí)延開銷被硬件吃掉了。壞消息是多出來的校驗(yàn)位會(huì)占用一部分帶寬所以如果純粹比峰值讀寫性能ECC內(nèi)存會(huì)稍有折損。但好消息是可靠性提升了一個(gè)數(shù)量級(jí)。對(duì)服務(wù)器來說這個(gè)交換極其劃算。1.3 “可糾正”和“不可糾正”的分水嶺每次發(fā)生錯(cuò)誤時(shí)內(nèi)存控制器會(huì)根據(jù)校驗(yàn)結(jié)果給事件分類Correctable ECC errorCE系統(tǒng)成功定位并修復(fù)了錯(cuò)誤但硬件會(huì)把這個(gè)事件記錄在日志里這就是“CE計(jì)數(shù)”的來源。CE計(jì)數(shù)可以很高因?yàn)槊恳淮嗡矔r(shí)錯(cuò)誤都算一次。Uncorrectable ECC errorUE錯(cuò)誤超出了糾正能力比如一個(gè)校驗(yàn)組里兩個(gè)位同時(shí)翻轉(zhuǎn)系統(tǒng)無(wú)法恢復(fù)。如果出錯(cuò)的數(shù)據(jù)正在被CPU使用通常會(huì)引起Machine Check Exception直接導(dǎo)致系統(tǒng)停機(jī)或進(jìn)程被殺。注意uncorrectable并不等于“內(nèi)存徹底報(bào)廢”。一次有多個(gè)位同時(shí)翻轉(zhuǎn)的瞬時(shí)沖擊也會(huì)觸發(fā)UE而物理壞塊導(dǎo)致的UE則意味著該區(qū)域不可信。所以在日志里看到UE時(shí)可能對(duì)應(yīng)完全不同的結(jié)論一種是要繼續(xù)觀察的軟錯(cuò)誤另一種是必須立刻換條硬故障。區(qū)分它們的方法就是接下來要講的日志解讀和MBIST自檢。2. “uncorr. ecc 顯示2”背后的日志讀法2.1 不同日志系統(tǒng)對(duì)同一錯(cuò)誤的不同記賬方式能搜到“uncorr. ecc 顯示2”這種詞的人多半是在某臺(tái)服務(wù)器的帶外管理界面看到內(nèi)存錯(cuò)誤計(jì)數(shù)顯示2或者在日志導(dǎo)出文件里看到“uncorrectable error count 2”的字樣。我見過不少同事看到數(shù)字2就緊張覺得壞了兩次其實(shí)這里有個(gè)很大的誤解同一個(gè)硬件事件在帶外日志、內(nèi)核日志、BIOS日志里往往會(huì)被記錄成不同的計(jì)數(shù)。比如同一時(shí)刻DIMM A2發(fā)生了一次UE帶外控制器Dell iDRAC、HPE iLO等可能會(huì)記錄為一條獨(dú)立的“Uncorrectable ECC Error on DIMM A2”事件同時(shí)BMC的系統(tǒng)事件日志中會(huì)遞增一個(gè)“Total Uncorrectable Error Count”字段而Linux內(nèi)核的EDAC模塊可能只記錄一條“EDAC MC0: 1 UE”。不同日志系統(tǒng)對(duì)同一事件的編碼方式不一樣數(shù)字自然對(duì)不上。如果你用RACADM導(dǎo)出的日志里看到“uncorr. ecc 顯示2”最可能的解釋有兩個(gè)一是內(nèi)存控制器下有兩個(gè)bank的UE計(jì)數(shù)被分開累計(jì)日志里顯示的是“某個(gè)控制器總共檢測(cè)到兩次不可糾正錯(cuò)誤事件”二是帶外日志把同一個(gè)根源事件重復(fù)存儲(chǔ)成兩條記錄——比如一條是錯(cuò)誤本身另一條是錯(cuò)誤狀態(tài)寄存器達(dá)到告警閾值的事件。判斷的關(guān)鍵是看時(shí)間戳和具體位置如果兩次錯(cuò)誤的時(shí)間戳幾乎相同、DIMM位置也一樣基本可以斷定是同一事件的多級(jí)上報(bào)如果時(shí)間戳相差很遠(yuǎn)、位置也不同那才是兩次獨(dú)立事故。2.2 用EDAC和mcelog看內(nèi)核側(cè)的真實(shí)計(jì)數(shù)在Linux下看真實(shí)的內(nèi)存糾錯(cuò)計(jì)數(shù)最直接的是查看EDAC子系統(tǒng)暴露的計(jì)數(shù)器。以下是我常用的命令組合# 查看內(nèi)存控制器的CE/UE總計(jì)數(shù) cat /sys/devices/system/edac/mc/mc0/ce_count cat /sys/devices/system/edac/mc/mc0/ue_count # 查看每個(gè)csrow的計(jì)數(shù) cat /sys/devices/system/edac/mc/mc0/csrow0/ue_count cat /sys/devices/system/edac/mc/mc0/csrow0/ch0_ce_count # 實(shí)時(shí)看dmesg里新增的EDAC記錄 dmesg -w | grep EDAC MCue_count為0、ce_count很大這是非常常見的狀態(tài)。CE計(jì)數(shù)高說明這個(gè)通道的環(huán)境或顆粒不太穩(wěn)定但還在內(nèi)存控制器的處理能力之內(nèi)。如果ue_count從0變成1就要提高警惕。配合mcelog可以解析硬件層記錄的Machine Check信息cat /var/log/mcelog journalctl -k | grep -i mce很多發(fā)行版默認(rèn)裝了mcelog但不一定開啟了守護(hù)進(jìn)程建議先檢查服務(wù)狀態(tài)。它能給出CPU、內(nèi)存控制器的詳細(xì)信息并區(qū)分“可糾正”和“不可糾正”。如果系統(tǒng)里同時(shí)裝了edac-utils也可以用edac-util -v看更詳細(xì)的錯(cuò)誤分布那個(gè)更容易定位到具體通道和插槽。2.3 看到計(jì)數(shù)增加后先別急著換內(nèi)存很多剛?cè)胄械呐笥岩豢吹絻?nèi)存錯(cuò)誤計(jì)數(shù)漲了就馬上去機(jī)房拔內(nèi)存條其實(shí)這反而可能會(huì)把簡(jiǎn)單問題復(fù)雜化。我建議至少按這個(gè)順序做一遍判斷看是不是“舊賬”。很多機(jī)器長(zhǎng)時(shí)間沒清過日志BMC里累積了歷史錯(cuò)誤和當(dāng)前運(yùn)行無(wú)關(guān)。先看系統(tǒng)uptime和最后一次錯(cuò)誤記錄時(shí)間如果時(shí)間戳很久以前優(yōu)先考慮清空日志后繼續(xù)觀察??村e(cuò)誤位置和系統(tǒng)負(fù)載的關(guān)系。我遇到過一臺(tái)機(jī)器每次跑內(nèi)存密集型編譯任務(wù)時(shí)CE計(jì)數(shù)就開始漲業(yè)務(wù)空閑時(shí)完全不漲。后來鎖定到溫度問題把風(fēng)扇策略調(diào)高后計(jì)數(shù)就停了。這種“負(fù)載相關(guān)”的錯(cuò)誤方向往往是散熱或供電而不是顆粒本身。確認(rèn)是不是插槽或主板接觸問題。臟污氧化會(huì)導(dǎo)致接觸電阻變大出現(xiàn)間歇性UE。這種情況下直接換內(nèi)存條不一定解決問題先做金手指清潔、重新插拔很多“幽靈錯(cuò)誤”會(huì)直接消失。如果確實(shí)是反復(fù)新增的UE且手上沒有備用條可以暫時(shí)通過BIOS把出問題的內(nèi)存通道或bank屏蔽掉應(yīng)急但長(zhǎng)期必須安排更換。3. MBIST ECC自檢把內(nèi)存逼到極限再放行3.1 MBIST到底是什么Memory Built-In Self-Test也就是內(nèi)存內(nèi)建自檢?,F(xiàn)代服務(wù)器主板的內(nèi)存控制器里內(nèi)置了專門的測(cè)試邏輯不依賴操作系統(tǒng)也不完全依賴CPU主頻。MBIST引擎會(huì)按照預(yù)設(shè)的算法序列向存儲(chǔ)單元寫入、讀取、翻轉(zhuǎn)特定圖案檢查是否存在“卡死在0”“卡死在1”、地址線短路、存儲(chǔ)單元相互干擾等結(jié)構(gòu)性問題。這個(gè)過程和操作系統(tǒng)里跑memtest86類似但MBIST更偏向硬件底層的結(jié)構(gòu)測(cè)試也更加嚴(yán)格。MBIST最厲害的一點(diǎn)是它能繞開操作系統(tǒng)的干擾直接在硬件層面對(duì)整個(gè)存儲(chǔ)陣列進(jìn)行暴力讀寫。所以當(dāng)運(yùn)行時(shí)出現(xiàn)的ECC錯(cuò)誤可能是環(huán)境干擾時(shí)MBIST報(bào)錯(cuò)的指向性要明確得多。如果MBIST在某個(gè)bank報(bào)了fail那基本可以認(rèn)定為物理顆粒的問題直接對(duì)應(yīng)到DIMM甚至具體rank而不是“運(yùn)氣不好碰到的瞬時(shí)錯(cuò)誤”。3.2 怎么觸發(fā)一次MBIST服務(wù)器一般有幾個(gè)入口可以觸發(fā)POST階段自動(dòng)運(yùn)行很多服務(wù)器的BIOS默認(rèn)在開機(jī)自檢時(shí)做一輪“Enhanced Memory Test”如果上次關(guān)機(jī)不干凈或檢測(cè)到異常會(huì)自動(dòng)擴(kuò)展成完整的MBIST。帶外管理界面手動(dòng)觸發(fā)Dell iDRAC里有“Memory Test”功能HPE iLO里有“Run Memory Test”觸發(fā)后機(jī)器會(huì)重啟在開機(jī)階段跑一輪測(cè)試。BIOS里的內(nèi)嵌測(cè)試AMI等主板的BIOS里一般有“Memory Test”或“MemTest”頁(yè)面可以手動(dòng)開啟。手動(dòng)跑之前務(wù)必注意MBIST極其耗時(shí)。一條16GB內(nèi)存跑一輪完整的March C-大概要幾分鐘到十幾分鐘整機(jī)內(nèi)存如果堆到幾百GB甚至TB級(jí)別完整測(cè)試可能跑幾個(gè)小時(shí)。測(cè)試期間機(jī)器必須停機(jī)業(yè)務(wù)要提前切換或安排窗口。我在生產(chǎn)環(huán)境里跑過一臺(tái)512GB內(nèi)存的數(shù)據(jù)庫(kù)機(jī)器完整測(cè)試跑了將近三個(gè)小時(shí)期間那臺(tái)機(jī)器完全離線。3.3 怎么看MBIST結(jié)果并與ECC日志對(duì)應(yīng)跑完之后MBIST的結(jié)果通常會(huì)在POST日志、iDRAC/ILO的系統(tǒng)事件日志中顯示為“Memory BIST Test Passed/Failed”或者給出類似“Single-bit correction error in DIMM A2”的信息。這里有個(gè)很容易踩的坑MBIST測(cè)試結(jié)果“passed”并不代表內(nèi)存絕對(duì)健康只能說明在那一輪測(cè)試的算法序列和溫度環(huán)境下沒有測(cè)出致命的固有問題。有些存在微妙時(shí)序問題的內(nèi)存條要跑到高溫高負(fù)載時(shí)才會(huì)暴露MBIST不一定抓得住。反過來如果MBIST報(bào)出fail甚至具體到“bank 4, wordline xxxxx”那就別猶豫了問題定位很明確。我自己的習(xí)慣是運(yùn)行時(shí)日志看到CE新增、UE偶發(fā)先不慌安排一個(gè)內(nèi)存測(cè)試窗口測(cè)試通過但計(jì)數(shù)還繼續(xù)漲就檢查散熱和供電測(cè)試失敗直接按位置換條。這樣一套流程下來絕大多數(shù)內(nèi)存問題都能在業(yè)務(wù)不中斷的前提下處理干凈。3.4 跑MBIST前的準(zhǔn)備工作清單想在窗口內(nèi)高效跑完MBIST建議提前做這幾件事備份數(shù)據(jù)并切換業(yè)務(wù)確認(rèn)測(cè)試期間這臺(tái)機(jī)器完全離線也不會(huì)影響核心服務(wù)。導(dǎo)出當(dāng)前的內(nèi)存錯(cuò)誤日志作為基線測(cè)試前后用同一套命令對(duì)比計(jì)數(shù)。在帶外管理界面開啟告警屏蔽防止測(cè)試期間的噪音告警把值班手機(jī)震爛。記錄測(cè)試開始時(shí)間和預(yù)計(jì)時(shí)長(zhǎng)測(cè)試過程中安排一次人工確認(rèn)看有沒有中途報(bào)錯(cuò)。有條件的話記錄機(jī)箱溫度和系統(tǒng)功耗。測(cè)試過程會(huì)拉高內(nèi)存負(fù)載溫度數(shù)據(jù)可以一并用來判斷散熱是否異常。4. 一次真實(shí)ECC故障的完整排查鏈路4.1 告警點(diǎn)名DIMM A2但系統(tǒng)看起來沒事前段時(shí)間處理過一臺(tái)客戶數(shù)據(jù)庫(kù)服務(wù)器Dell R75064GB RDIMM插了8條跑了快兩年。某天客戶的郵件轉(zhuǎn)發(fā)過來說iDRAC昨晚報(bào)了一次“Uncorrectable ECC Error Detected on DIMM A2”問是不是要換內(nèi)存。我登錄后先看iDRAC面板內(nèi)存健康一欄是黃色警告但系統(tǒng)狀態(tài)顯示正常操作系統(tǒng)也沒重啟過。再看BMC日志除了那條UE外前一天還有幾條“Corrected ECC Error”事件并且日志里顯示“uncorr. ecc 顯示2”的感覺就是這么來的——帶外管理界面把內(nèi)存控制器上報(bào)的錯(cuò)誤次數(shù)統(tǒng)計(jì)成了2。按前面的方法先查內(nèi)核側(cè)dmesg | grep -i EDAC MC | tail -20結(jié)果只有一條類似這樣的記錄EDAC MC0: 1 UE on DIMM A2 (channel:0 slot:2 page:0x12345)時(shí)間戳和iDRAC里的那條能對(duì)上。到這里基本可以判斷所謂“顯示2”是帶外日志把同一件事記成了兩條事件——一條是錯(cuò)誤本身另一條是錯(cuò)誤閾值達(dá)到告警的事件內(nèi)核側(cè)實(shí)際只認(rèn)一次。4.2 業(yè)務(wù)切換后如何把根因釘死接下來安排窗口把數(shù)據(jù)庫(kù)切換到備機(jī)然后按順序走了一遍完整流程先做完整日志快照dmidecode -t memory # 查看內(nèi)存條信息、序列號(hào)、插槽、速度 edac-util -v # 查看EDAC所有控制器的詳細(xì)計(jì)數(shù) dmesg | grep -i -E EDAC|MC | tail -30在iDRAC里手動(dòng)觸發(fā)“Memory Test”跑完整MBIST。結(jié)果出來后確認(rèn)fail位置正是DIMM A2上的bank 4。執(zhí)行更換。這里有幾個(gè)細(xì)節(jié)值得注意先把機(jī)器完全下電做好防靜電措施。拆下嫌疑條后觀察金手指如果表面有氧化痕跡或插槽內(nèi)有灰先用無(wú)塵布加酒精清潔插槽和內(nèi)存條金手指再插回去跑一輪測(cè)試。替換用同型號(hào)、同頻率、盡量同一批次的內(nèi)存條避免不同顆粒方案的條子混插引發(fā)新的不穩(wěn)定。更換后開機(jī)進(jìn)BIOS跑一輪快速內(nèi)存測(cè)試確認(rèn)通過。然后進(jìn)系統(tǒng)查看EDAC計(jì)數(shù)是否歸零如果沒有歸零但內(nèi)核支持可以手動(dòng)重置echo 0 /sys/devices/system/edac/mc/mc0/ce_count echo 0 /sys/devices/system/edac/mc/mc0/ue_count如果內(nèi)核不支持寫入重啟后計(jì)數(shù)一般也會(huì)清零。觀察72小時(shí)包括CE計(jì)數(shù)是否反彈、有沒有新增UE事件、系統(tǒng)日志是否干凈。觀察期間業(yè)務(wù)可以先切回來但要把監(jiān)控盯緊。4.3 換上備用條后日志還在報(bào)我踩過的坑有次排查一臺(tái)機(jī)器換了兩次所謂“新條”后CE計(jì)數(shù)依然在漲。后來拆下來用放大鏡看金手指發(fā)現(xiàn)新條其實(shí)是翻新條表面有細(xì)微的劃痕和氧化。于是我把原來的嫌疑條清干凈后重新插回去跑一輪MBIST竟然全過之后計(jì)數(shù)也穩(wěn)定了。這說明很多時(shí)候問題不在顆粒本身而在電氣接觸面。另一個(gè)坑是槽位編號(hào)問題。服務(wù)器內(nèi)存槽位不是按A1、A2、B1、B2的順序與日志里的channel/slot直接對(duì)應(yīng)的。有的板子A通道的槽位和B通道交錯(cuò)排列日志里說DIMM A2物理上可能是中間那根。換條前一定要先看服務(wù)手冊(cè)搞清楚物理插槽和通道的映射關(guān)系別拔錯(cuò)了。第三個(gè)坑是固件。有次排查一臺(tái)跑了大半年的機(jī)器內(nèi)存錯(cuò)誤計(jì)數(shù)持續(xù)增加MBIST卻一直通過。后來更新了BIOS和BMC固件更新說明里明確寫著“fixed false positive memory error logging on some DIMMs”更新完計(jì)數(shù)就停了。不是所有錯(cuò)誤日志都是硬件真相固件層面的誤報(bào)也是真實(shí)存在的。5. 選內(nèi)存與固件策略把ECC的價(jià)值用到位5.1 不同ECC內(nèi)存類型的適用場(chǎng)景想上ECC先搞清楚類型。下表是常見內(nèi)存類型的核心區(qū)別類型是否帶ECC緩沖方式常見場(chǎng)景普通UDIMM部分帶無(wú)緩沖桌面平臺(tái)、入門NASECC UDIMM帶無(wú)緩沖入門級(jí)服務(wù)器部分消費(fèi)級(jí)平臺(tái)支持RDIMM帶寄存器緩沖絕大多數(shù)企業(yè)級(jí)服務(wù)器LRDIMM帶數(shù)據(jù)緩沖與寄存器大容量?jī)?nèi)存場(chǎng)景降低總線負(fù)載RDIMM必須搭配支持Reg ECC的CPU和主板Xeon、EPYC這類基本都支持。消費(fèi)級(jí)平臺(tái)雖然也有“支持ECC”的說法但不一定默認(rèn)開啟很多模式下面向消費(fèi)級(jí)的內(nèi)存控制器策略會(huì)直接忽略ECC功能。自己組NAS時(shí)想上ECC最穩(wěn)的辦法是選明確標(biāo)注支持ECC的主板BIOS里把Memory ECC打開再驗(yàn)證而不是買回來才發(fā)現(xiàn)功能被鎖。5.2 BIOS里那些與內(nèi)存可靠性相關(guān)的設(shè)置BIOS里關(guān)于內(nèi)存可靠性的選項(xiàng)名稱各家不太一樣但核心邏輯是這幾項(xiàng)選項(xiàng)大致作用注意點(diǎn)ECC Mode / ECC Enable總開關(guān)必須打開關(guān)掉后ECC完全失效Memory Sparing留一部分內(nèi)存做熱備塊檢測(cè)到損壞自動(dòng)切換可用容量下降A(chǔ)DDDC / DDDC更高級(jí)的多設(shè)備錯(cuò)誤糾正能力有內(nèi)存容量和性能開銷Memory Training開機(jī)時(shí)重新訓(xùn)練內(nèi)存時(shí)序換條或升級(jí)固件后不穩(wěn)定時(shí)可主動(dòng)做一次Memory Test就是MBIST入口Quick/Full模式耗時(shí)差異巨大這些選項(xiàng)不是“開了就萬(wàn)事大吉”。比如Memory Sparing啟用后系統(tǒng)實(shí)際可用容量會(huì)減少因?yàn)镺S根本看不到備份塊ADDDC也會(huì)引入少量地址解析開銷。選的時(shí)候要結(jié)合業(yè)務(wù)負(fù)載數(shù)據(jù)庫(kù)或金融交易系統(tǒng)可靠性優(yōu)先HPC高性能計(jì)算可以偏向性能模式。5.3 固件升級(jí)與內(nèi)存“玄學(xué)”在服務(wù)器上內(nèi)存訓(xùn)練、錯(cuò)誤上報(bào)、ECC糾正策略都依賴固件。固件更新常常解決“某個(gè)型號(hào)內(nèi)存條誤報(bào)錯(cuò)誤”“某個(gè)通道不穩(wěn)定”這類問題。我在生產(chǎn)環(huán)境里踩過一個(gè)坑新采購(gòu)了一批內(nèi)存條不在服務(wù)器制造商兼容性列表里結(jié)果使用一個(gè)月后某個(gè)槽位出現(xiàn)間歇性CE。查遍硬件都沒找到毛病最后發(fā)現(xiàn)平臺(tái)發(fā)布了新BIOS說明里明確寫著“更新內(nèi)存參考代碼修復(fù)部分內(nèi)存條的錯(cuò)誤上報(bào)問題”。更新到支持的BIOS版本后CE計(jì)數(shù)慢慢清零問題再也沒有復(fù)現(xiàn)。所以遇到說不清的內(nèi)存問題先查固件版本更新說明這往往比拔插內(nèi)存條快得多。5.4 采購(gòu)與備件策略內(nèi)存的采購(gòu)和備件我比較堅(jiān)持幾個(gè)原則選服務(wù)器制造商兼容性列表里的內(nèi)存不要迷信“代工同款”這種說法。兩個(gè)看起來一模一樣的顆粒固件訓(xùn)練曲線可能完全不同。備件保持兩到四根最好與機(jī)器里在用的條子同型號(hào)。真正出問題的時(shí)候沒有時(shí)間去調(diào)頻率、調(diào)時(shí)序。對(duì)關(guān)鍵業(yè)務(wù)部署內(nèi)存健康監(jiān)控定期采集EDAC計(jì)數(shù)、關(guān)注BMC告警閾值別等宕機(jī)才翻日志。過保機(jī)器盡早補(bǔ)備件倉(cāng)位內(nèi)存老化是慢過程最怕壞在半路卡了采購(gòu)流程。最后聊幾句個(gè)人經(jīng)驗(yàn)。我看了這么多年服務(wù)器的內(nèi)存日志最大的感受是ECC內(nèi)存這個(gè)機(jī)制99%的時(shí)候都在默默干活但一旦它開始頻繁上報(bào)往往意味著你已經(jīng)進(jìn)入了“修復(fù)倒計(jì)時(shí)”。與其糾結(jié)“這個(gè)錯(cuò)誤顯示2是不是真的壞了兩次”不如盡早把這些日志讀懂把MBIST流程跑熟。等哪天真需要救火時(shí)你會(huì)感謝當(dāng)年認(rèn)真研究過這些概念的自己。要是你手里正好也有內(nèi)存報(bào)錯(cuò)的機(jī)器不妨按文里的順序先抓一遍日志結(jié)果往往會(huì)在第一頁(yè)就說話。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
操操吧亚洲乱伦视频| 人妻一二三区| 操逼操网| 爱妻综合网| 啊啊啊啊操死我| 一区二区三区激情在线观看| 97精品国产精品免费观看| 国产精品乱码久久久久| 97人妻色| 欧美日韩国产成人高清| 啊啊啊啊啊啊啊国| 91日韩| 天天干天天拍| 麻豆精品.欧美精品.日韩精品.| 全球成人中文在线| 欧美色图20P| 国内精品伊人久久久久影院会| 久久e6只有精品| 4虎在线观看| 99色| 婷婷伊人五月| 国产精品久久久久久久久久久久久久久| 大象AV在线| 97超碰碰碰| 欧美日韩1234| 啊啊啊好大好湿| 欧美激情性爱视频网站| 人妻熟女一区二区| 懂色AV一区二区三区| 日韩97在线| 97中文天堂| 女性喷水高潮在线观看| 亚洲欧美日韩电影网站一区| 久久性爱城| 亚洲中文字幕一区二区| 青青草原狼av| 91人妻中文| 亚洲图片在线| 人妻熟女av国产网站| 99超碰网| 欧州激情视频在线一区二区| 99久久网站| 青青草久草| 91色鬼| 中国少妇XXXX做受| 久久精品无码专区| 久日91在线| 伊人久操| 午夜超爽| 精品久| 91日产欧美| 爽 好舒服 无码刺激久久| 中文字幕黄色一起草| 中文字暮97| 高清国产无码av| 校园春色宗合网| 91热爆在线| 日韩啪啪视频| 超碰午夜| 成人精品电影| 在线观看日韩av不卡| 啊啊啊无码| 国产乱人妻精品入口| 欧美色色色| 青娱乐欧美激情一区二区| 舔人妻中文免费视频| 午夜精品一区二区三区三上悠亚| 欧美国产欧美在线观看| 亚洲久久久久| 可乐操在线| 秋霞男人网| 亚洲天堂 视频你懂的| 蜜臀视频网站| 99久在线精品99re8蜜桃| 人人操天天爽| 日本免费中文一区二区三区四区| 免费强奸av| 探花视频免费观看国产专区| 亚洲一区中文字幕| 欧美猛交黑寡妇中文字幕| 无码99| 欧美极品性爱天天射| 国产精品久久久久久久久久久久久久| 中国黄色特级精品一区二区三区片| www.色五月| 欧美久久久15P| 国产中文福利| 婷婷午夜| 116美女午夜| 亚洲精品日日夜夜52| 日韩激情毛片一级久久久| 亚洲色图A| 国产9熟妇视频网站| 欧美性,亚州色| 亚洲一区日韩| 人妻人人操| 久久无码成人| 色综合色欲色综合色综合色综合| 人妻少妇被猛烈进入中| 波多野结衣一级视频| 秋霞色色影院| 男人的天堂2018| 亚洲有码第一页| 999精品女人| 97免费在线观看| 欧美人妻一区| 91丨豆花丨熟女| 91精品国产91久久青草| 日少妇视频| 97香蕉人人乳| 天天做天天爽| 久久激情视频| 丁香五月影院| 青青草原香蕉日本Ap| 涩涩五月天| 色婷婷激情| 91精品婷婷国产综合久久竹菊| 亚洲欧美首页| 午夜操一视频一区| 91久久久亚洲| 精品国产一区二区三区在线播出| 74成人在线| 日本十八禁免费看污网站| 丰满美女一级毛片在线播放| 18禁无码永久免费无限制| 91欧美丝袜| 亚洲黄网在哪免费看| 人人操人人肉久久精品| 国产成人亚洲精品无码最新在线| 为用户提供免费看黄网址在线观看| 国产精品白领在线观看| 亚洲日本激情| 亚洲国产成人福利在线观看| 思思热久久成人| 色一区二区三区综合| 欧美资源| 91夜色chaopeng| 久久久蜜桃臀无码视频| 日韩不卡在线一区二区| 久久精品中文| 欧洲人妻视频| 91美女视频| 韩美日操逼| 免费αV在线视频| 日本黄色大片一级视频免费麻豆| 欧美,日韩综合久久| 美国日韩黄色片| 成人午夜无码视频| 99re9在线| 欧洲免费一区二| 亚欧中文字幕在线视频| 蜜臀久久99'精品久久久| 久久久999国产| 久久久久久久9| 国产强奸乱伦无码视频| 国产女人操逼视频| 久操视频免费在线观看| 尤物av网站| 超碰99在线| 久久久久久久久久久久欧美日| 午夜乱轮操逼视频免费看| 北条麻妃性愛视频| 777超碰| 婷婷人妻激情| 成人精品无码| 一区二区三区机械有限公司| 老师充足的奶水小说| 1204金沙人妻懂旧版免费| 天天综合网亚洲综合网| 亚洲综合电影| 色色五月婷| 亚洲综合网图| 久久久久久综合久久伊人蜜月| AV乱伦国产| 思思热久久成人| 伦理片秋霞免费影院| 91精品成人www| 国产亚洲色婷婷99精品91| 日日躁夜夜躁狠狠躁超爽| 操国产逼| 一区二区三区精品黑丝白丝酒店对鸡| 国产极品久久久| 自拍偷拍国产欧美日韩韩| 成年人性爱日韩| julia高潮后不停追击中出| 粉嫩AV一区夜夜嗨| 久久69| 另类 日韩 熟女| 欧美在线干| 无码精品久久久久久亚洲| 欧美一区二区三区蜜桃| 超碰69| 免费观看欧美日韩操逼视频 | 亚州性色| 91精产一区二区三区| 天天操狠狠日夜夜干超碰撸com视频在线观看 | 丝袜亚洲91| 一级黄色影片| 韩国三级理论在线| 日韩成人精品视频自拍| 亚洲小电影免费涩涩成人在线高清| 伊人色综合超碰| 久久久久久裸体| 99re国产精品视频| 97超碰资源网| 日韩乱伦AⅤ| 国产精品色哟哟| 成人久久久| 快播久久人人aV| 高清无码在线播放网站| 好看的久久不射无码影视影院| 天天干人人看综合| 欧美男女午夜啪啪| 亲子敌伦对白在线播放| 久久99热这里只频精品6学生| 欧美97se| 99日韩| 性交一区二区在线播放| 中日亚韩免费视频| 快灬快灬 一下爽蜜桃在线观看| 国产60区。| 国产搭汕a级片| 强奸乱伦AV网址| 九九九九九用不成了| 精品一二三区女同| 18一区二区三区| 青青草中文-久久青草精品一区二区三 | av天堂手机版追回| 激情九月婷婷| www.夜夜| 熟妇一区二区三区| 久久久18禁| 狠狠躁天天躁日日躁| 亚洲日产专区婷婷| 色欧洲| WWW.操逼.COM| 在现视频女上位好爽| 久久久久免费少妇| 欧美婷婷久久| 欧美日日人人天天| 精品人妻少妇| 台湾佬中文娱乐网久久久久久久久久com | 欧美在线官网| 乱伦Av网| 91 综合网| 最近二区三区视频大全| 午夜免费视频1000| 婷婷超| 久久国产视频性吧 | 久久人妻精品| 自拍偷拍草一草| 欧美日韩国产电影| 久久99亚洲精品久久99果| 91丝袜人妻| 中文字幕一区二区无码成人| 欧美后入式| 亚州性色| 久久深夜无码| 欧美极品| 一区三区啪啪| 欧美亚洲激情小说| 男人天堂最新手机版在线青青草| 丰满欧美放荡少妇在线| 亚洲精品日日夜夜52| 日本成a人v网站在线观看| 国模无码人体一区二区三| 一级A啪啪啪啪| 67194无码不卡| 97精品97久久| 翔田千里AV无码秘 三区| 人人干黄色| 婷婷色五月激情| 色婷婷在线视频| 久久綜合很很很| 久久久999国产精品| 91亚洲图片| 免费观看欧美日韩操逼视频| 亚洲性少妇| 999狠狠综合| AV不卡在线| 日本不卡一区二区| 超碰色大香蕉| 日韩AV无码网站| 三男一女不戴套的A片| 美女操逼福利视频| 麻豆AV一区二区| 日本亚欧爱爱| 八人操人人摸人人看| 成 人 影视 一区 二区 三区 四区 | 日韩中文字幕av在线播放| 亚洲天在线| 久久亚洲不卡一区二区三区| 亚洲精品九九九| 99超级碰免费视频| 欧美αv.com| 欧美人人曰人人操人人射射| 乱伦熟妇一区二区| 亚洲不卡三级手机播放| 亚洲综合首页| 78超碰| 精品午夜福利| 中文字幕精品区先锋资源| 色鬼在线综合| 人妻一区二区三区视频| 免费试看60秒| 麻豆天美国美国产| 久久原创中文| 亚洲情色图片区| 伊人国产av| 艳美熟妇先锋一二三区| 日日摸日日弄日日拍| 国产熟码AV| 日日骚AV| 久久av色| 色官网在线| 另类专区加勒比| 午夜120视频在线观看| 噜噜噜久久亚洲精品色情| 色在线综合| 啊好爽受不了无码| 蜜乳成人AV| 国产精品色哟哟| 色欲久久99精品久久| 98一区二区精品| 亚洲欧美999| 大香蕉欧美| a亚洲欧美色欲| 2020中文在线一区二区三区| 97精品综合久久| 五月天婷婷激情| 熟妇熟女亚洲天堂网| 综合网欧美在线| 伊人色综合超碰| 亚州再线| 免费99精品国产自在在线| 蜜桃午夜视频一区二区| 日韩99999| 亚洲天天操| 亚洲欧洲日本精品中文a∨| 成人a级高清视频在线观看| 欧美一级国产一级| 日本韩国一本产品小视频日本韩国一本产品久久久产品小视频日本韩国一本产品久 | 郑州宾馆老熟女露脸啪啪| 天天α片| 免费综合亚洲中文| 国产精品不卡高清在线观看| 激情久久日韩精品中文字幕麻豆| 激情五月天婷婷| 欧美一区二区三区不卡高清视频| 大香蕉色欲AV| 欧美亚洲玖玖玖| 18禁在线视频| 亚春色色| 91爰爱欧美| 大香蕉丝袜一级片| 99re免费视频精品全部| julia国产在线| 人妻天天爽夜夜爽精品2| 国产免费一区2区3区| 偷拍 精品另类 凸凹了四区| 日本九九久久99播| 人人摸人人舔一区二区| 97亚洲精品| 亚洲一级特黄大片在线播放91| 另类图片五月天| 久久综合女优| 欧美少妇人妻| 日韩欧美国产高清视频| 婷婷久久综合久| 四虎在线观看网站| 青娱乐福利99| 九九热精品| 欧美少妇高潮久久91| 亚州91| 日韩欧美国产高清视频| 亚洲www91| 国产玖玖| 国产精品久久久久久久毛片1| 搡老女人老91妇女老熟女 | 神马久久久久眼| 999岛国大片| 91天堂丝袜美腿| 大香蕉中文在线| 国产久久av| 99青草| 日日骚一区二区三区| 无码高清少妇久久| 色女女女导航| 狠狠操狠狠| 岛国黄色大片网站| 国内三级自拍小视频在线观看| 免费av高清无码| 农村女一级毛卡片| 亚洲久久久久| 久久 精品| 一区二区三区看视频| 97欧美色| 青青草综合在线| 97视频新免费| 久操视频在线| 中文字幕av一区二区三区人妻少妇| 情色五月天网| 96国产污污污丝袜| 91精产一区二区三区| 呻吟 欧美 日本 中出| 久久久一级| 狠狠爱AV| 熟女高潮精品一区二区| 日韩中文字幕二区| 日韩精品一二三| 亚洲激情四射| 精品女同一区二区三区| 欧美视频边做饭边橾| 人妻在线臀日韩| 欧美高清无码免费视频高清版| 国产九月婷婷| 久草在线| 色爱综合网欧美| 天天做天天爱夜夜爽毛片试看| 高树玛利亚无码流出| 欧美一区二区三区不卡高清视频| 宗合情欲网| 在线看的av| 色偷偷综合91久久噜噜| 再深点灬舒服灬太大了好硬好爽| 色九色久| 欧洲一区二区三区免费| 污电影在线观看| 久久久精品一区二区| 亚洲图片激情综合另类| 亚洲另类色综合网站| 青青草天天亲夜夜操网| 国产欧美一级在线观看| 黑人中出21连凳花野真衣| 精品九九淫乱男| 精品玖九九久| 欧美一级美片在线观看免费| 久久一区二区三区入口| 日本999精品视频| 久久视频,这里只有精品| 久久黄人人爽视频| 国产精品一区av在线| 国产成人无码网站在线视频| 久久久工口| 色色亚洲| 91操操操操| 福利大香蕉| 激情五月综合网| 先锋影音av先锋一区| 色在线69堂| 午夜大香蕉| 伊人操你| 色五月大香蕉| 男女猛烈无遮掩视频免费软件| 中出20p| 五月丁香亭亭| 中文字幕精品日韩中文字幕| 风韵犹存大大大大香蕉| 加勒比综合九九99视频在线播放| 再深点灬舒服灬太大了好硬好爽| 国产精品美女久久久久久网站| 日本三级韩国三级美三级91| 成人无码在线超碰网| 在线综合色| 一区二区首页| 九九久久玖玖| 六月丁香网| 99综合网| 你草精品在线视频| 婷婷中文网| 婷婷丁香九月| 精品国产乱码久久| 东京热,男人的天堂| 欧美日韩精品久久| 日韩精品三区四区| 精品色色| 亚洲无码一区二区三区三州| 做爱A级亚欧| 精品免费视频国产一区| 欧美在线天堂| 国产亚洲女v在线观看| 亚洲国产婷婷在线播放| 婷婷久久综合久| 天堂亚洲精品久久老牛| 国产精品视频麻豆入口| 91超碰碰在线| 精品无码久久久久久国产浪潮| 欧美白嫩在线放| 91精品人妻偷情| 久热久一区二区三区| 久久久久九九九| 欧美午夜精品久久久久久超碰| 麻豆av一区二区三区| 强奸乱伦中文字幕AV| 精品久久久久9999| 天堂俺去俺来也www久久婷婷| 色狠人在线99| 奸色色 男人天堂 天天射| 久久HD| 日本一区二区不卡精品| 国产三级中文有码在线视频| 美女被艹尤物视频| 亚洲夜夜欢无码一区二区| 一区三区啪啪| 国产成人无码网站在线视频| 91chinese在线| a级理论午夜日本| 人人天天干干| 五月婷婷综合网| 性爱久久| 久久超碰亚洲人| 亚洲图片在线| 天天综合网日韩7799| 色臀aV| 精品一区二区在线针对华人免费观看这里只有精品免费观看 | 精品久久久不卡一区二区| 欧美中文字幕日韩在线| 亚洲av性爱电影| 影音先锋每日最新资源在线观看| 久久成人国产精品| 操逼逼中文字幕| 午夜成人爽爽爽爽A片李冰冰| 九九综合色| 97天天日| 精品人妻一二三四区视频| 免费综合亚洲中文| 91视频精品| 白丝在线一区| 久操九九九九| 成人aⅴ一区二区三区| 一二三区精品视频| 欧美国产一区二区三区麻豆传媒| 九九色综合| 中文字幕高清精品一区| 天天操妹子| 女人一区| 精品国产少妇高潮视频| 8050无码八戒| 大香蕉乱级| 69一区二区三区| 97超碰超欧美。| 老司机天天操| 亚洲精品 超碰| 日韩精品人妻中文字有码在线| 色97欧美| www.91人妻.com| 久久久久久AⅤ无码免费肉站 | 爽极品影院| 啊啊啊啊好大好硬啊啊啊啊啊 | WWW美腿丝袜香蕉中文| 天天享受天天看| 天天综合精品| 成人性爱电影一区二区| 国产成人精品无码久久| 超碰精品日韩欧美国产| 欧成人精品一区二区三区| 日韩精品9999| 国产精品自拍欧美在线| 久热无码| 九一性生活免费视频| 日本欧美中文字幕| 三级片网站在线播放| 欧美性爱第一页久久| 99re6久热只有精品6在线直播| 欧美性天天影视| 国产精品久久久久久久久久久久久久久久 | 亚洲一区日韩| 日韩一级特黄av毛片| 99热一区二区三区四区| 在线有码中文字幕| 人人摸人人舔一区二区| 亚洲高清内射| 色色丁香| 日日骚AV| 欧美天天综合| 97天天操| 97AV在线观看| 色香欲综合| 国产精品操| 欧美色图第一页| 一本色道熟妇| 欧美激情欧美精品| 伊人久久艹| 一区超碰一区| 色综合av男人天堂| 蜜臀av网址| 玖玖爱免费观看视频| 欧美日韩香蕉| 亚洲激情av| 尹人大香蕉视频在线| 男人天堂婷婷五月天校园春色| 欧美激情总合网| 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 蜜桃视频成a人v在线| 亚洲欧美日韩制服另类| 伊人久久婷婷| 日韩精品亚洲一二三| 91精品久久综合熟女| 国产青视频| 人妻少妇久久久| 大香蕉黄色一级片免费看| 成功精品影院| 久久久日本电影| 五月婷婷综合网| 狼人综合婷婷激情四射| 国产女上位好爽在线| 欧美在线视频播放| 麻豆视频一区二区| 7777奇米影视久久| 色色色99| 一区 欧美 日韩 麻豆| 欧洲大香蕉| 丰满人妻一区二区三区色-百度| 老熟女搡BBBB搡BBBB视频| 婷婷亚洲五月***久久| 欧美一区二区亚洲天堂| 国产91丝袜在线播放蜜月| 亚洲一区二区三区欧美日韩| 国产91美女视频| 国产日本熟女顶级一区二区三区视频| 久久久久亚洲Av无码专区老牛影视| 九九热九九热| 九九热久久99精品re| 国产精品久久久999| 国产激情在线观看| 91精品少妇搡搡搡| 色妹子A V| 懂色中文一区二区三区| 91n免费处女| 综合色99| 五月天婷婷在线看| 97视频新免费| 69AV女优男人的天堂| 精品人妻一区二区视频| 日本大香蕉综合网红本杳社区| 久热伊人99re| 欧美探花网| 国产不良强奸视频免费看| 国产精品久久久鸭无码的功能| 又黄又粗又硬又长又大| 亚洲天堂男人天堂| 91狠狠综合久久久久久| 男人的天堂不卡一区二区| 丰满熟女一区二区三区在线播放| 欧美日韩天堂| 淮穴色AV| 国产18精品亚洲精品| 囯产精品久久久久久久久久梁医生| 色天堂在线观看| 日韩99999色| 亚洲第一在线视频| 天天综合网1| 99热婷婷一区二区三| 亚洲国产欧美中文永久| 日产中文字幕2020| 国产亚洲欧美每日在线| 青青草原综合久久大伊人精品| 超碰91在线| 色欧美天天| 夜夜欧美| 亚洲无码久久久久久久| 97少妇人妻中文字幕久久 | 伊人婷婷五月天| 我中文字幕6区 | 亚洲一区中文字幕久久,果冻传媒一区二区天美传媒 | 太久视频| 亚洲日韩青青草色月| 在线播放成人高清免费视频| 67194无码不卡| 秋霞Av理论一级在线| 婷婷日韩一区二区三区中文字幕在线| 9997se| 在线观看日韩av不卡| 色婷婷av在线观看| 91老司机在线视频免费观看| 干婷婷综合网| 亚洲国产精品无码AV久久久| 中国人高清www色视频免费| 日韩无码服务区| 日韩丝袜高跟制服在线观看| 男人的天堂成人的社区| 偷拍伦理视频| 9久久精品| 老司机午夜精品福利视频一区二区| 日本亚洲熟女视频| 亚洲性网| 亚洲精品久久久久毛片A片拉屎| 91 天天综合| 超碰这里有精品| 加勒比伊人综合| 日日干男人的天堂| 久久久久久9999| 亚洲自拍偷拍视频在线| 婷婷综合五月| 91美女视频。| 99超碰色| 伦伦成年午夜免费视频| 亚洲干B| 嫖老熟女A片一二三区| 日本伦乱九九九综合| 日韩黄片影院| 黄色视频60分钟| 天天操天天射天天日| 国产av波波国产精品| 天天干天天舔| 99人妻碰碰碰久久久久禁片| 亚洲色图超碰在线| 97Ai亚洲| 婷婷五月天小说| 亚洲一卡2卡3卡4卡乱码网站 | 免费综合亚洲中文| 午夜福利一区二区影院| 日本不卡免费二区| 第二页中文字幕| 国产欧美日韩精品中文| 亚洲一区二区在线观看91| 嗯,啊。舔我逼| 夜夜一区二区| 欧美A片中文字幕| AV天堂国产| 日va操| 久热9| 久久久久久夜夜夜夜夜| 天天摸夜夜操视频| 加勒比性爱成人在线| 欧美丝袜中文字幕07在线| 久久超碰97| 91在线免费观看处女| 操九九九九九九| 日韩中文字幕av在线播放| 韩国一级做a久久久久| 蜜色网色哟哟| 天天弄欧美| 激情亚洲天堂| 日韩无码第3页| 亚洲国产美女久久久久| 国产av又色又爽又黄| 亚欧性爱在线无码| 亚洲一区中文字幕一区| 亚洲成人日韩小说| 曰韩操B| 色五月首页| 色月天AV导航| 亚洲少妇激情一区二区三区| 久久久久白虎| 亚洲国产精品成人综合| 日韩人妻有码免费视频| 天天日少妇逼AV| 久久久97| 91日韩网站| 青青草华人在线欧美在线| h色99999| 亚欧洲一区二区视频| 嗯嗯啊啊视频一区二区三区| 91色图片| 99re9这里只有精品| 看一级特黄a大一片| 激情视频网址| 乱老熟女一区二区三区| 97se亚洲综合自| 97在线观看播放视频| 吻戏激情性巴克| 青青草原成人| 强奸乱伦AV网址| 成人欧美一区二区三区黑人一| 黄色人人| 欧美高清第一页| 3p国产色噜噜一区| 麻豆60秒| 久日91在线| 亚洲天堂久久| 91亚洲黑人| 亚洲情色在线| 综合激情一一91| 亚洲精品久久久久久| 国产一区二区在线看| 嗯嗯嗯啊啊在线观看| 天天92av| 日韩字幕一区| 乱论91| 成人综合久久精品色婷婷| 国产欧美日韩在线观看麻豆传媒公司| 国产九月婷婷| 国产精品乱人伊人网| 欧美三级免费伊人| 亚洲色图 图片| 用力操死我| 欧洲亚洲人人爽爽视频| 91蜜臀人妻中文字幕在线| 人妻丝袜一区二区三区在线| 青青操网| 国产精品美女在线一区| 日本中文字幕在线电影| 91原创在线观看| 啊啊啊好大好湿| 中文字幕国产| 日本精品网站在线中文| 国产AV久久久蜜爱影集| 伊色综合天堂色97| 婷婷啪啪| 色九九综合AV| 抽插无码高清一区| 中国韩国明星一极片一区乱码毛片人妻熟女一区二区三区 | 国产精品老师| 青青草AV色| 97香蕉碰碰人妻国产欧美| 亚洲天堂久| 成人性爱电影一区二区| 亚洲另类色综合网站| 无码自拍SM| 亚洲深夜福利| 人妻在线臀日韩| 国语对白露脸XXXXXX | 日韩av乱伦| 一级AAA片一区二区三区| 色狠狠色| 九九久久久| 人人喜人人妻| 久久成人午夜精品影院 | 你操综合| 91看黄片| 丰满精品人妻少妇久久字幕| 国产熟女免费观看久久| 97日韩欧美亚洲| 欧美日日人人天天| 色图综合| 大香蕉九九| 另类专区加勒比| 操操逼视频| 色呦呦、国产精品| 亚州欧美色图| 91色人妻| 国产欧美成人精品| 婷婷久久网| 男女啪啪啪18禁网站| 老女人91| 素人播放一区| 久久婷婷一区二| 国产情色第一第二页在线观看| 国产精品露脸在线观看| 少妇毛片久久| 97超碰超碰| 又黄又爽在线观看视频| 99操逼| 天天拍天天操| 91日韩网站| 日韩性爱高清免费视频| 超碰在线第一页| 天堂中文资源在线bt| 美女AV一区二区| 爱爱60秒免费视频| av在线浏览| 91一区二区| 欧美性爱一区二区三区| 强上我不卡卡| 色婷婷电影网| 超碰国产精品无码| 2017,超碰| 九一精品牛牛一区二区| 亚洲AV无码天美传媒一区| 97精品熟女少妇一区| 精精品人妻一区二区三区| 乱老熟女一区二区三区| 国产精品老师| 欧美日韩在线国产在线| 日本一级特级毛片视频| 日韩特一级久久| 色色99| 亚州操操穴网| 大香蕉伊人久久| 国产精品成人福利在线| 超碰在线人人射| 国产欧美另类久久久精品课程| 色欲色香天天天综合网www-亚洲综合国| 色婷婷影视| 欧美顶级黄色大片免费| 97综合| 美女性91| 免费精品AB| 裸体1区| 婷婷色色网| 激情看片网站| 看一级特黄a大一片| 日本性爱视频一级| 欧美天天射| 日骚逼视频| 亚洲乱熟女一区二区| 亚洲综合贴图91| 少妇天堂网络| 欧洲乱码视频| 亚洲狼狼干综合1| 精品视频123区小说区| 免费综合亚洲中文| 国模精品娜娜一二三区| 日韩精品 视频一区二区| 国产三级资源在线观看| 超碰免费人妻人人| 可以免费看黄片的视频| av网站在线看| 国产精品96| 国产精品扒开腿做爽爽爽视频| 亚洲色图欧美| 少妇精品久久| 97精品免费| 91精品国产91久久福利| 被窝影院午夜看片无码| 国产久久成人| 蜜乳AV免费观看| 色操逼网| 91三级理论片播放器| 久久久久久国产无码精品| 俺去俺来也在线www| 亚洲中文一区二区三区视频| 玖玖色综合| 婷婷在线精品| 免费试看60秒| 玖玖综合.com| 美女在线H91| 75大香蕉| 蜜桃久久久久久久久久久久| 欧色性第一页| 青青草原成人| 一二三区精品视频| 香蕉视频欧美一卡二卡| 热热色中文无码| 立川理惠被中出无码| AA级电影三区| 欧美强奸乱能| 亚洲成?V人片在线观看福利| 欧美桃色网| 色噜噜人妻av 中文字幕| 色色色色网站| 亚洲国产欧美中文永久| 99久久婷婷丁香| 天天看精品动漫视频一区| 日韩人妻精品| 国产欧美后入| 久久99999| 日本天堂网| 久久精品免费| 久久久精品国产亚洲伊人| 无码国产精品午夜不卡(| 免费一级特黄特色大片在线观看看| 青青青国产手线观看视频2| 97天天日| …亚洲黄色厕厕女女在线播…| 97在线播放 | 十八禁一区二区无码观看| 亚洲精品国产av天美传媒| 国产有码一区| 91精品成人www| 99国产人成精品| 国产亚洲 中文欧美久久| 99re视频在线观看这里只有精品| 日本123区操B视频| 中日亚韩免费视频| 青青伊人这里只有精品| 中文字幕日韩人妻视频| 精品国产一区二区三区香蕉欧美 | 亚洲情色综合| 欧亚 另类 久| 夜夜欧美| 另类欧美色| 超碰97网站| 欧美啪啪色吧在线| 国产精品在线一区二区| 欧美性暴力猛交| 日本免费一级AAA大片器| 超碰97起碰| 免费精品人妻一区二区三| 密臀在线一区尤物| 蜜臀久久99精品久久久久久无删减 | 九九无码久久精品视频| 日韩三级久久久| 97二区四区| 欧美熟妇人体| 97超碰资源网| 狠狠躁天天躁日日躁97| 久9久9久9久9久9久9| 亚洲区 欧美区| 欧美热图99| 精品人妻一区二区三区四区不卡在| 热99这里有精品综合久久| 看免费一级在线播放毛片| 91人妻最真实刺激绿帽| 久久久久久精品免费看A级| 成人国产精品三级A片| 日日干夜夜干| 超碰天天久久79| 亚洲日韩欧美一区二区| 91综合天天看| 99999亚洲| 久久久久亚洲AV无码专区少妇| 乱伦av.com| 人妻少妇视频在线播放| 国产少妇高潮| 另类欧美综合| 91大神精品长腿在线观看网站| 无码人妻丰满热妇又大又粗| 色五月综合| 91在线色| 精品国产乱码久久久| 国产精品不卡av免费在线观看| 人人操人人搞人人草| 午夜欧美女人操逼| 丝袜制服字幕在线| 狠狠干妹子| av三级电影在线播放| 黄色av片三级三级三级免费看| 亚洲天堂综合AV| yy少妇精品久久| 午夜性刺激视频免费观看| 在线人人人人人人精品超| 超碰人人乐97| 超碰在线日韩一区| av在线播放国产一区| 国产精品三级视频网站| 国产精品。| 国产一区在线看| 国产一区二区精品久久99| 一区=区三区视频| 综合网亚洲在线| 370p日韩欧美亚洲精品| 日韩专区数据列表-第3230页-精品国产一区二区三区香蕉 久久99熟女人妻中文字 | 桃色五月天| 中文字幕AV片| 亚洲资源网| 精品久久久高清无码| 91nbbbbbb| 一区二区三区免费岛国片| 亚洲成人AB| 人妻少妇久久久| 国产AV天美| 神马久久免费电影观看| 成人a大片在线观看| av大香蕉网站| 欧美乱欲| 亚洲精品视频在线播放| 亚欧洲一区二区视频| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | 97香蕉网| 中文字幕高清20页视频| 男人成人黄色视频在线观看免费下载| 欧美不卡在线一区二区| www久久99| 狠狠干妹子| 国产精品无码av| a人片中文字幕一区二区| 精品毛片av一区二区| 大香蕉欧美伊| 性爱网站一区二区| 99re这里只有精品3| 欧美色图亚洲色| 淫淫总合网| 九热中文字幕| 九九久久九九久久| 偷拍综合网| 国产青一二三| 久久久久久久强迫| 75大香蕉| 亚洲日韩视频二区| 欧亚日韩三区| 日欧亚洲二三区大片不卡| 麻豆成人av| 日本国产高清色www视频在线| 亚洲怡春院| 日本护士高潮| 九九玖玖精品| 国产高清26uuu| 久久粉色| 99热日| 天天综合在线4| 神马久久久久久伦理片| 淫荡网址| 亚洲AV秘 精品久久老牛影视| 九九九九热只有精品| 最新精品久久蜜桃 | 伊人影院中文字幕| 精品久久无码午夜福利| 97超碰欧美手机在线| 久久草视频污视频| JIZZJIZZ国产精品喷水| 久久精品店| 69精品人人人人| 久久精品店| 久草在线| 天天澡天天爽日日av| 久久精品店| 97这里只有精品| 日本 免费 一区二区三区 久久香蕉| 日本中文熟女视频| 日产123区精品免费观看| av资源在线播放天堂| 国产一级高清免费观看| 综合天天网| 久久老子无码午夜伦不卡| 无遮挡男女激烈动态图| 欧美日韩亚洲五月天婷婷| 日本午夜福利影院| 热思思免费视频| 亚洲国产亚洲天堂| 又大又白奶子| 91成人久久 | 亚洲日韩视频二区| 国产呦精品系列在线观看| 97亚洲自在精品在线观看| 啊灬快c我灬啊灬用力灬啊灬-国产精品性做久久久久久-成人AV | 少妇同性| 九九成人| 婷婷五月天补不补| 五月天婷婷久久| 999岛国大片| 温婉少妇玩3p| 黄色在线网站| 久草国产在线视频| 国产精品久久久久久久电影渣男| 欧美亚州手机在线| 日韩无码一级黄色av片| 国产女主播视频在线观看| 伊人97色天使| 婷婷视频网| www.91人妻.com| 亚洲综合影院| 97天天插| 加勒比综合九九99视频在线播放| 啊啊啊好爽快点啊啊啊嗯嗯| 日韩欧美午夜视频在线| 九九热视频这里只有精品| 久久老女人| 久久久久久久亚洲Av无码| 麻豆天美久久91| 欧美日韩国产中文精品字幕自在自线, | 噜噜噜亚洲精品| 999日韩中文精品观看视频。| 强奸乱伦Av网| 午夜乱轮操逼视频免费看| 天天综合网在线观看| 91精品在线播放| 蜜桃视频一区二区三区| 中文字幕 一区二区 亚洲无码| 天天综合网站| 国产一区二区三区精品观看啪| 国内毛片国产欧美拍| 免费操逼91| 综合色欧美| 精品在线78| 色偷偷综合91久久噜噜| 人人搡人人肉久久精品| 欧亚不卡| 成人女人国产| 日本肏逼视频在线观看| 免费操逼视频下载| 欧美日韩亚洲一区二区在线观看| 国产又黄又粗的视频| 女沟厕偷窥piss小便| 中文 人妻 制服| 日韩啪啪视频| 久久无码精品| 国产美女91| 久久线上视频免费看|