日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

ECC內(nèi)存錯(cuò)誤排查:從內(nèi)核日志到MBIST測試的完整指南

ECC內(nèi)存錯(cuò)誤排查:從內(nèi)核日志到MBIST測試的完整指南 兩周前調(diào)一臺(tái)跑了快一年的嵌入式服務(wù)器日志系統(tǒng)里開始反復(fù)出現(xiàn)同一類記錄EDAC MC0: 1 CE on ...當(dāng)時(shí)我第一反應(yīng)不是急著關(guān)機(jī)換內(nèi)存而是先去看這個(gè)CE是真實(shí)發(fā)生的單比特翻轉(zhuǎn)還是某個(gè)測試流程或ECC控制器自己造成的誤報(bào)。真正讓我緊張的是另外一臺(tái)機(jī)器日志里一共就兩行類似uncorr. ecc 顯示2的記錄緊接著就是一次完整的machine check panic。很多第一次接觸這類日志的人要么被嚇到要么干脆忽略。但ECC錯(cuò)誤信息從來不是有或沒有這么簡單尤其當(dāng)你既要處理線上運(yùn)行時(shí)的內(nèi)核報(bào)錯(cuò)又要在產(chǎn)線階段面對MBIST測試時(shí)你得能分清哪些錯(cuò)誤可以被糾正、哪些會(huì)直接導(dǎo)致數(shù)據(jù)損壞以及內(nèi)存控制器究竟是在哪個(gè)環(huán)節(jié)把錯(cuò)誤分類的。這篇文章我就沿著一條真實(shí)的排查鏈路說起按照報(bào)錯(cuò)怎么讀、ECC怎么糾錯(cuò)、怎么定位壞內(nèi)存、怎么用MBIST提前發(fā)現(xiàn)隱患的順序把我在項(xiàng)目里踩過的坑、花時(shí)間驗(yàn)證過的做法一次性攤開講清楚。1. 日志里的 uncorr. ecc 顯示2 到底在說什么1.1 一條典型的ECC報(bào)錯(cuò)日志長什么樣很多運(yùn)維同事第一次看到類似uncorr. ecc 顯示2這樣的描述都會(huì)有個(gè)共同疑問這個(gè)2是什么意思是錯(cuò)誤等級(jí)是DIMM編號(hào)還是錯(cuò)誤計(jì)數(shù)就我接觸過的實(shí)際日志來說它多半是監(jiān)控工具從內(nèi)核EDAC子系統(tǒng)、MCEMachine Check Exception模塊或者帶外管理接口比如SEL日志、IPMI sensor讀取出來的累計(jì)計(jì)數(shù)含義通常是不可糾正ECC錯(cuò)誤已經(jīng)發(fā)生過2次。換句話說這不是某一條內(nèi)存顆粒壞了才出現(xiàn)的信息而是系統(tǒng)已經(jīng)把兩次不可恢復(fù)的內(nèi)存錯(cuò)誤記錄在案。典型的Linux內(nèi)核日志長這樣[ 5326.885023] EDAC sbridge MC0: UE row 2, channel 0, label CPU_SrcID#0_Ha#0_Chan#0_DIMM#1 [ 5326.885033] mce: [Hardware Error]: Machine check events logged [ 5326.895103] Memory failure: 0x2a5b1c0: recovery action for dirty LRU page: Recovered如果是通過mcelog的JSON輸出也有類似結(jié)構(gòu){ type: memory, mc: 0, csrow: 2, channel: 0, dimm: CPU_SrcID#0_Ha#0_Chan#0_DIMM#1, ue_count: 2 }這里的ue_count: 2就是我說的累計(jì)計(jì)數(shù)。相比之下uncorr. ecc 顯示2是某些帶外管理界面或腳本里的縮寫描述并不標(biāo)準(zhǔn)但指向同一個(gè)東西這個(gè)內(nèi)存模塊下已經(jīng)累計(jì)了2次不可糾正ECC錯(cuò)誤。1.2 Corrected Error 與 Uncorrected Error 的工程差異ECC日志里最基礎(chǔ)的兩個(gè)詞是CECorrected Error可糾正錯(cuò)誤和UEUncorrected Error不可糾正錯(cuò)誤。網(wǎng)上很多文章只說CE沒關(guān)系UE要換內(nèi)存但在實(shí)際項(xiàng)目里這種二分法會(huì)害死人。CE意味著內(nèi)存陣列中的某一位發(fā)生了翻轉(zhuǎn)ECC電路通過校驗(yàn)位把它恢復(fù)到了正確值系統(tǒng)可以繼續(xù)跑。表面上看起來無害但CE出現(xiàn)頻率是有意義的信號(hào)。假設(shè)一條內(nèi)存條的CE計(jì)數(shù)在一個(gè)月內(nèi)從0漲到幾百說明該區(qū)域可能存在物理損壞、顆粒老化或者觸發(fā)了行錘擊Row Hammer效應(yīng)再不處理后續(xù)大概率會(huì)演化成UE。UE則意味著錯(cuò)誤已經(jīng)超出了ECC的糾錯(cuò)能力比如雙比特翻轉(zhuǎn)、同一緩存行里出現(xiàn)兩個(gè)單比特錯(cuò)誤或者內(nèi)存顆粒的某個(gè)位完全失效。這種情況下ECC只能檢測到錯(cuò)誤但拿不出正確的數(shù)據(jù)系統(tǒng)只能上報(bào)MCE。如果發(fā)生UE的區(qū)域恰好是正在運(yùn)行的代碼頁或關(guān)鍵數(shù)據(jù)結(jié)構(gòu)結(jié)果通常是進(jìn)程被kill、系統(tǒng)panic最難受的是沒有任何報(bào)錯(cuò)只是數(shù)據(jù)悄悄被寫壞等發(fā)現(xiàn)時(shí)已經(jīng)晚了。我見過不少同學(xué)直接把UE日志無視掉理由是機(jī)器還能跑。對當(dāng)時(shí)是能跑但你不知道哪塊數(shù)據(jù)已經(jīng)變成錯(cuò)的這是最可怕的。只要出現(xiàn)一次UE就應(yīng)該進(jìn)入排查流程而不是等下次再報(bào)。1.3 一次只有2次UE的故障場景復(fù)盤今年年初處理過一臺(tái)設(shè)備日志里ue_count從1變成2中間間隔了三周系統(tǒng)沒有panic所有業(yè)務(wù)看起來都正常。但仔細(xì)翻內(nèi)核日志后發(fā)現(xiàn)第一次UE發(fā)生時(shí)有幾頁用戶空間內(nèi)存被標(biāo)記為損壞對應(yīng)的進(jìn)程收到了SIGBUS某個(gè)老舊的服務(wù)進(jìn)程直接退出只不過因?yàn)榕渲昧诉M(jìn)程守護(hù)自動(dòng)重啟了所以業(yè)務(wù)沒有中斷。第二次UE發(fā)生時(shí)平臺(tái)已經(jīng)進(jìn)入了帶病運(yùn)行狀態(tài)。用ras-mc-ctl --summary查看再結(jié)合dmesg | grep EDAC確認(rèn)了UE發(fā)生的物理地址范圍最終鎖定了某個(gè)通道上的內(nèi)存條替換后問題消失。這個(gè)過程讓我形成了一條判斷習(xí)慣UE計(jì)數(shù)哪怕只有1也要當(dāng)成重大故障對待而不是等它自我恢復(fù)。內(nèi)存錯(cuò)誤是硬件故障靠重啟軟件是永遠(yuǎn)修不好的。2. ECC糾錯(cuò)原理為什么64位數(shù)據(jù)要配72位物理通道2.1 漢明碼與SEC-DED的數(shù)學(xué)基礎(chǔ)ECC之所以能糾錯(cuò)核心在漢明碼。漢明碼的基本思路是給數(shù)據(jù)位額外增加若干個(gè)校驗(yàn)位讓整個(gè)碼字滿足特定的奇偶校驗(yàn)關(guān)系。經(jīng)典漢明碼可以糾正任意單比特錯(cuò)誤但檢測不了雙比特錯(cuò)誤。為了兼顧糾正單比特和檢測雙比特實(shí)際內(nèi)存ECC幾乎都使用SEC-DEDSingle Error Correction, Double Error Detection編碼也就是在漢明碼基礎(chǔ)上再增加一個(gè)全校驗(yàn)位使碼字的最小漢明距離從3增大到4。最小距離為3時(shí)只能糾正1位錯(cuò)誤距離為4時(shí)可以糾正1位錯(cuò)誤、檢測2位錯(cuò)誤。校驗(yàn)位數(shù)量怎么算對于64位數(shù)據(jù)需要滿足2^r m r 1其中m是數(shù)據(jù)位寬度64r是校驗(yàn)位數(shù)量。代入計(jì)算2^7 128 64 7 1 72 成立所以7個(gè)校驗(yàn)位理論上就能實(shí)現(xiàn)SEC但加上SEC-DED需要的額外校驗(yàn)位后實(shí)際是8個(gè)。64位數(shù)據(jù)加8位校驗(yàn)正好拼成72位。這就是為什么標(biāo)準(zhǔn)ECC UDIMM/RDIMM的數(shù)據(jù)位寬是72位而不是普通內(nèi)存的64位。順帶一提很多DDR5支持On-die ECC那是顆粒內(nèi)部額外存儲(chǔ)區(qū)做的保護(hù)和系統(tǒng)級(jí)ECC是兩回事。系統(tǒng)級(jí)ECC走的是72位總線DDR5的On-die ECC通常不參與系統(tǒng)內(nèi)存的糾錯(cuò)流程只覆蓋內(nèi)部陣列的讀取這一點(diǎn)在選型時(shí)特別容易混淆。2.2 為什么選SEC-DED而不是更強(qiáng)的糾錯(cuò)編碼理論上還可以設(shè)計(jì)出能糾正2位甚至更多位錯(cuò)誤的編碼比如BCH碼或Reed-Solomon碼。那內(nèi)存為什么不用三個(gè)字性價(jià)比。DRAM單比特錯(cuò)誤的占比遠(yuǎn)高于多比特錯(cuò)誤。粒子撞擊引起的軟錯(cuò)誤、電壓瞬變、溫度漂移絕大多數(shù)表現(xiàn)為單個(gè)存儲(chǔ)單元翻轉(zhuǎn)。芯片級(jí)物理損壞初期也通常是從一個(gè)位開始失效。SEC-DED已經(jīng)覆蓋了99%以上的實(shí)際錯(cuò)誤場景再多一位糾錯(cuò)能力校驗(yàn)位寬度會(huì)大幅增加總線帶寬、內(nèi)存控制器復(fù)雜度、延遲和成本全都惡化。在一些高端服務(wù)器平臺(tái)上有Chipkill或SDDC技術(shù)它的思路是用多個(gè)內(nèi)存顆粒分別承載不同數(shù)據(jù)塊配合更寬的ECC編碼讓單個(gè)顆粒完全失效時(shí)仍然可以恢復(fù)數(shù)據(jù)。這種能力本質(zhì)上是通過更寬的扇出和更強(qiáng)的編碼實(shí)現(xiàn)代價(jià)是內(nèi)存子系統(tǒng)設(shè)計(jì)更復(fù)雜通常只出現(xiàn)在關(guān)鍵業(yè)務(wù)服務(wù)器的RDIMM/LRDIMM方案里。2.3 ECC覆蓋不到的物理錯(cuò)誤ECC不是萬能的有幾類錯(cuò)誤它一點(diǎn)忙都幫不上。地址線或控制線上的錯(cuò)誤。如果內(nèi)存控制器要訪問的物理地址在傳輸過程中被干擾最終訪問到的是錯(cuò)誤地址上的數(shù)據(jù)這個(gè)數(shù)據(jù)本身可能是合法的ECC校驗(yàn)自然通過但你拿到的根本不是想要的數(shù)據(jù)。這種場景下ECC報(bào)告不了任何錯(cuò)誤數(shù)據(jù)卻已經(jīng)錯(cuò)了。讀改寫粒度的限制。某些平臺(tái)對ECC內(nèi)存做部分寫入時(shí)需要先把整塊數(shù)據(jù)讀出來修改目標(biāo)字節(jié)后再寫回這個(gè)讀-改-寫窗口如果同時(shí)遭遇另一個(gè)單比特錯(cuò)誤可能產(chǎn)生疊加效應(yīng)最終表現(xiàn)為無法糾正的UE。行錘擊攻擊造成的比特翻轉(zhuǎn)。高頻訪問某一行內(nèi)存導(dǎo)致相鄰行的電容電荷泄漏加速可能在正常讀寫過程中引發(fā)多處比特翻轉(zhuǎn)形成多比特錯(cuò)誤。ECC只能事后檢測無法預(yù)防。理解了這些邊界你就明白為什么在關(guān)鍵系統(tǒng)里光靠ECC不夠還需要內(nèi)存鏡像、故障預(yù)測、定期巡檢這些更上層的機(jī)制來兜底。3. 從內(nèi)核日志到定位壞內(nèi)存一次完整排查復(fù)盤3.1 第一步確認(rèn)錯(cuò)誤來源是內(nèi)存還是緩存排查開始前最重要的事是確認(rèn)這個(gè)MCE/EDAC錯(cuò)誤到底來自DRAM、CPU緩存還是總線。不少人一看日志里有ECC就默認(rèn)是內(nèi)存條然后直接替換替換完了問題依舊最后才發(fā)現(xiàn)是CPU的L2緩存出問題。怎么區(qū)分看dmesg里MCE日志的MCG_STATUS和MCACOD兩個(gè)字段。MCACOD低幾位會(huì)編碼錯(cuò)誤類型常見的有MCACOD部分值典型含義0x0134 / 0x0135內(nèi)存控制器報(bào)告的錯(cuò)誤通常關(guān)聯(lián)DIMM0x0150 / 0x0151緩存層次報(bào)告的錯(cuò)誤0x0000 / 0x0001通用總線/互連錯(cuò)誤同時(shí)查看EDAC的mc0目錄如果日志里出現(xiàn)EDAC MC0: UE基本可以確定是內(nèi)存控制器視角的錯(cuò)誤。如果只有MCE事件而沒有EDAC事件且MCACOD指向緩存那就要往CPU方向排查。3.2 第二步通過EDAC和MCE互相印證確認(rèn)是內(nèi)存錯(cuò)誤之后要快速鎖定是哪根DIMM?,F(xiàn)代平臺(tái)通過edac-util --report可以給出非常具體的位置edac-util --report mc0: 0 Uncorrected Errors with DIMM CPU_SrcID#0_Ha#0_Chan#0_DIMM#1 1 Corrected Errors with DIMM CPU_SrcID#0_Ha#0_Chan#0_DIMM#1這個(gè)label字段結(jié)合dmidecode -t memory里的Locator可以直接對應(yīng)到物理插槽dmidecode -t memory | grep -E Locator|Error Correction|Size比如看到Locator: DIMM_A1再對照主板上絲印編號(hào)就能確定是哪個(gè)物理槽位。如果平臺(tái)比較老沒有l(wèi)abel信息可以讀/sys/devices/system/edac/mc/mc0/csrowX/下的ue_count和ce_count配合內(nèi)存控制器的channel映射關(guān)系推斷。這里有個(gè)很容易踩的坑某些虛擬化環(huán)境或云主機(jī)里/sys下的EDAC信息可能是宿主機(jī)的客戶機(jī)里的EDAC路徑要么不存在要么不完整。所以排查之前先確認(rèn)自己是在物理機(jī)還是虛擬機(jī)里別在虛擬機(jī)里折騰半天物理內(nèi)存條。3.3 第三步壓力測試與替換驗(yàn)證鎖定嫌疑DIMM后不要急著拆機(jī)先把錯(cuò)誤復(fù)現(xiàn)做一下。常用的工具是memtester和stressapptest。stressapptest的經(jīng)典用法stressapptest -M 64 -s 3600 -i 4 -C 8-M 64表示分配64GB內(nèi)存-s 3600是測試時(shí)長3600秒-i 4是迭代次數(shù)-C 8是使用8個(gè)CPU線程。注意測試內(nèi)存容量不要超過系統(tǒng)可用物理內(nèi)存的85%否則大量swap會(huì)干擾結(jié)果。跑完一輪后觀察EDAC計(jì)數(shù)是否增長。如果ue_count或ce_count明顯增加并且關(guān)聯(lián)的label還是同一根DIMM基本石錘。接下來做替換驗(yàn)證。方法是換位不換條把嫌疑內(nèi)存條插到另一個(gè)已知正常的槽位同時(shí)把正常內(nèi)存條插到嫌疑槽位再跑一輪壓力測試。如果錯(cuò)誤跟著內(nèi)存條走說明是內(nèi)存條本身問題如果錯(cuò)誤留在原槽位說明是主板內(nèi)存通道或CPU內(nèi)存控制器的問題。這一步極其重要我遇到過不止一次最終變成換主板的案例。3.4 換內(nèi)存之后的驗(yàn)證換完內(nèi)存條不要以為事情就結(jié)束了還要做三項(xiàng)確認(rèn)第一dmesg里舊的EDAC錯(cuò)誤記錄還在要用edac-ctl --reset或重啟來清空計(jì)數(shù)器避免把歷史錯(cuò)誤當(dāng)成新錯(cuò)誤。第二重新跑至少一小時(shí)的stressapptest確認(rèn)新增CE/UE數(shù)量為0。第三觀察后續(xù)一周的日志確認(rèn)沒有間歇性錯(cuò)誤。很多朋友只做第一步就宣布故障解決結(jié)果下一周又收到報(bào)警歷史日志和新日志混在一起排查起來非常痛苦。4. MBIST與ECC聯(lián)合驗(yàn)證量產(chǎn)與板級(jí)調(diào)試的關(guān)鍵一環(huán)4.1 MBIST能發(fā)現(xiàn)什么、發(fā)現(xiàn)不了什么MBISTMemory Built-In Self-Test是內(nèi)建內(nèi)存自測試廣泛應(yīng)用在芯片測試和板級(jí)產(chǎn)線測試中。它通過在內(nèi)存控制器內(nèi)部集成測試邏輯對存儲(chǔ)陣列施加一系列測試圖形比如March C、March SS、棋盤格Checkerboard、走查Walking 1/0來檢測陣列里是否存在stuck-at fault固定為0或1、transition fault翻轉(zhuǎn)失敗、coupling fault單元間耦合干擾。MBIST的強(qiáng)項(xiàng)是直接面向存儲(chǔ)單元陣列做無損遍歷不需要操作系統(tǒng)也不需要CPU參與復(fù)雜的數(shù)據(jù)搬移。在產(chǎn)線階段MCU/SoC上電后先跑一段MBIST幾百毫秒就能覆蓋整個(gè)內(nèi)存顆粒陣列。但MBIST有它的盲區(qū)它對ECC邏輯本身的校驗(yàn)?zāi)芰苋酢R驗(yàn)镸BIST通常繞過了ECC編碼/解碼電路直接訪問物理存儲(chǔ)陣列校驗(yàn)位存儲(chǔ)區(qū)雖然也會(huì)被測試到但ECC的syndrome計(jì)算邏輯、錯(cuò)誤注入上報(bào)鏈路、單比特糾正流程在純MBIST流程里根本不會(huì)被觸發(fā)。4.2 兩類容易漏掉的錯(cuò)誤校驗(yàn)位陣列故障與錯(cuò)報(bào)EDC邏輯實(shí)際項(xiàng)目中我踩過兩個(gè)坑。第一個(gè)坑是校驗(yàn)位存儲(chǔ)單元故障。MBIST測試主數(shù)據(jù)區(qū)時(shí)校驗(yàn)位區(qū)域通常是一起測的但如果MBIST配置只在固定地址段做全0/全1寫入有些顆粒的校驗(yàn)位單元stuck-at故障就測不出來。比如校驗(yàn)位某一位恒為0數(shù)據(jù)區(qū)全部寫1時(shí)校驗(yàn)位本來就應(yīng)該是特定的混合序列可能恰好和恒為0很接近測試就這么糊弄過去了。正確的做法是讓MBIST針對校驗(yàn)位區(qū)域也跑March SS或棋盤格或者利用ECC控制器的測試模式對校驗(yàn)位做獨(dú)立的0/1翻轉(zhuǎn)測試。第二個(gè)坑是錯(cuò)誤上報(bào)鏈路斷了。有次板卡量產(chǎn)測試MBIST跑完一切正常但產(chǎn)品到客戶現(xiàn)場之后系統(tǒng)不停上報(bào)可糾正ECC錯(cuò)誤CE計(jì)數(shù)漲得飛快。排查后發(fā)現(xiàn)是固件里ECC中斷處理函數(shù)配置有問題錯(cuò)誤已經(jīng)發(fā)生了但中斷沒觸發(fā)EDAC在錯(cuò)誤達(dá)到門限前都不會(huì)報(bào)。換句話說內(nèi)存顆粒本身沒有故障是ECC的錯(cuò)誤上報(bào)鏈路沒有閉環(huán)。這讓我養(yǎng)成一個(gè)習(xí)慣量產(chǎn)測試?yán)锍薓BIST跑內(nèi)存顆粒必須單獨(dú)做一次ECC鏈路測試驗(yàn)證從數(shù)據(jù)錯(cuò)誤產(chǎn)生、到ECC模塊糾正/檢測、再到中斷上拋、最終EDC日志記錄這條完整路徑是通的。4.3 用MBIST驗(yàn)證ECC邏輯的實(shí)操做法怎么在一個(gè)產(chǎn)品化的測試流程里把MBIST和ECC串起來我分享一套驗(yàn)證過的做法。第一步裸機(jī)階段靠MBIST排掉陣列級(jí)故障。上電初始化后正常進(jìn)入所以MBIST全陣列遍歷模式用March C和反走查pattern各跑一遍。任何一顆顆粒有物理故障這一步會(huì)直接報(bào)錯(cuò)并給出失效地址固件把它記錄到壞塊管理表里。第二步進(jìn)入ECC模式后做故障注入測試fault injection。大部分內(nèi)存控制器的測試模式里都有寄存器可以強(qiáng)制翻轉(zhuǎn)數(shù)據(jù)線或校驗(yàn)位可以模擬單比特錯(cuò)誤和雙比特錯(cuò)誤。對單比特注入確認(rèn)數(shù)據(jù)仍然能正確讀回同時(shí)CE計(jì)數(shù)增加對雙比特注入確認(rèn)系統(tǒng)產(chǎn)生UE事件并觸發(fā)MCE或者對應(yīng)中斷。示例偽代碼流程// 進(jìn)入ECC測試模式 ecc_test_enable(ECC_TEST_INJECT_SINGLE_BIT); // 寫入已知pattern write_data(0x5A5A5A5A5A5A5A5A); // 讀取并比較 read_data(val); if (val 0x5A5A5A5A5A5A5A5A) { // 單比特錯(cuò)誤被糾正CE計(jì)數(shù)應(yīng)增加 check_ce_counter(1); } // 切換為雙比特注入 ecc_test_enable(ECC_TEST_INJECT_DOUBLE_BIT); read_data(val); // 此時(shí)不應(yīng)返回正確數(shù)據(jù)而應(yīng)產(chǎn)生UE中斷/事件 check_ue_event();第三步確認(rèn)系統(tǒng)層面的EDAC/MCE通道能正確記錄。板上固件測試模式下產(chǎn)生的UE事件要和Linux EDAC層對上。比如測試注入一次UE后進(jìn)入Linux讀/sys/devices/system/edac/mc/mc0/ue_count確認(rèn)計(jì)數(shù)增加了。以前我遇到過測試模式下能觸發(fā)中斷但Linux驅(qū)動(dòng)沒正確解析寄存器導(dǎo)致日志里什么都看不到的情況這一步就是為了堵住這種漏洞。4.4 產(chǎn)線測試中遇到的一個(gè)假UE案例順便分享一個(gè)很有意思的排查過程。某批次板卡MBIST全過但在客戶機(jī)器上運(yùn)行一個(gè)月后多塊板卡同一天報(bào)UE而且都是錯(cuò)誤地址集中在同一片區(qū)域。當(dāng)時(shí)第一反應(yīng)是顆粒批次問題準(zhǔn)備整批退貨。后來把退回板卡放在實(shí)驗(yàn)室復(fù)測壓力測試跑了兩天都測不出來再用原來客戶日志里的錯(cuò)誤地址和行錘擊工具專門打那片地址錯(cuò)誤立刻復(fù)現(xiàn)。結(jié)論是這批次顆粒的行錘擊閾值偏高正常工作負(fù)載下沒問題但客戶業(yè)務(wù)里恰好有大量訪問同一內(nèi)存行的場景觸發(fā)了相鄰行的比特翻轉(zhuǎn)。問題不在MBIST覆蓋率而在系統(tǒng)級(jí)行錘擊防護(hù)策略沒配置好。后來通過調(diào)整內(nèi)存控制器的RFMRefresh Management參數(shù)解決了。這個(gè)案例說明MBIST和ECC測試做得再完整也不能替代對實(shí)際使用場景的理解。量產(chǎn)前的可靠性測試一定要結(jié)合目標(biāo)部署場景設(shè)計(jì)用例。5. 項(xiàng)目選型與日常監(jiān)控的實(shí)操建議5.1 什么時(shí)候必須上ECC不是所有設(shè)備都需要ECC內(nèi)存但下面幾類場景我的建議是ECC沒有妥協(xié)余地。長期無人維護(hù)的邊緣設(shè)備。比如部署在偏遠(yuǎn)站點(diǎn)的工業(yè)控制器、網(wǎng)關(guān)設(shè)備沒人會(huì)定期巡檢一旦內(nèi)存故障錯(cuò)誤被悄悄寫入文件系統(tǒng)過幾個(gè)月數(shù)據(jù)損壞才發(fā)現(xiàn)損失遠(yuǎn)大于內(nèi)存條的那點(diǎn)差價(jià)。跑數(shù)據(jù)庫或文件系統(tǒng)的機(jī)器。數(shù)據(jù)庫頁緩存、文件系統(tǒng)元數(shù)據(jù)對bit翻轉(zhuǎn)極度敏感一個(gè)bit錯(cuò)誤可能導(dǎo)致一條記錄損壞或者文件系統(tǒng)目錄結(jié)構(gòu)崩潰。沒有ECC的機(jī)器出現(xiàn)這種錯(cuò)誤時(shí)連日志都不會(huì)有。高密度計(jì)算和AI訓(xùn)練節(jié)點(diǎn)。長時(shí)訓(xùn)練任務(wù)如果因內(nèi)存錯(cuò)誤導(dǎo)致數(shù)據(jù)損壞可能跑幾天才發(fā)現(xiàn)loss異常重跑一遍的代價(jià)遠(yuǎn)超ECC的成本。5.2 軟ECC與硬ECC怎么選現(xiàn)在很多消費(fèi)級(jí)SSD、嵌入式eMMC/UFS控制器內(nèi)部都帶LDPC或BCH軟糾錯(cuò)這是軟ECC的概念指的是主控固件層面的糾錯(cuò)。它和我們說的內(nèi)存ECC是兩碼事。系統(tǒng)級(jí)內(nèi)存ECC要求內(nèi)存控制器和內(nèi)存顆粒都支持ECC即72位總線。消費(fèi)級(jí)CPU和普通UDIMM不支持這個(gè)模式只有工作站/服務(wù)器CPU加ECC UDIMM/RDIMM才能組合出完整方案。有些嵌入式SoC支持的是內(nèi)嵌ECC模式數(shù)據(jù)總線上沒有額外校驗(yàn)位但控制器內(nèi)部利用預(yù)留存儲(chǔ)區(qū)存放校驗(yàn)數(shù)據(jù)外部看來還是64位總線。這種方案的糾錯(cuò)能力受限于內(nèi)部帶寬和訪問粒度通常只能覆蓋部分錯(cuò)誤場景。選型時(shí)要確認(rèn)清楚是哪種ECC別看到支持ECC就算數(shù)。5.3 開啟正確的監(jiān)控與告警硬件選對只是第一步運(yùn)行期的監(jiān)控同樣不能少。Linux內(nèi)核需要確認(rèn)開啟了以下配置CONFIG_EDACy CONFIG_EDAC_LEGACY_SYSFSy CONFIG_EDAC_DEBUGy CONFIG_MCE_LOGy監(jiān)控層面建議至少做三件事定期檢查/sys/devices/system/edac/mc/mc*/csrow*/ce_count和ue_count并寫入巡檢腳本。配合rasdaemon做持久化方便回溯錯(cuò)誤歷史。設(shè)置告警閾值比如任意DIMM的CE計(jì)數(shù)在24小時(shí)內(nèi)超過100或者UE計(jì)數(shù)從0變成1都屬于需要立即人工介入的級(jí)別。rasdaemon --record ras-mc-ctl --summary還有一個(gè)容易被忽略的點(diǎn)日志輪轉(zhuǎn)和持久化。很多系統(tǒng)默認(rèn)不開pstore或RAS日志重啟后錯(cuò)誤記錄就丟了。我建議配置pstore/ramoops確保內(nèi)核panic前的MCE日志能保存在不掉電的區(qū)域方便崩潰后分析。5.4 最后分享幾條實(shí)實(shí)在在的經(jīng)驗(yàn)做內(nèi)存可靠性相關(guān)項(xiàng)目這么多年真正影響項(xiàng)目成敗的往往不是技術(shù)方案本身而是以下幾點(diǎn)。不要過度解讀單次UE。硬件錯(cuò)誤分為持續(xù)性和偶發(fā)性。持續(xù)性錯(cuò)誤通常定位明確替換即可。偶發(fā)性錯(cuò)誤可能和溫度、電壓、訪問模式耦合需要長期觀察。一兩次CE不一定是壞條CE計(jì)數(shù)持續(xù)上漲才是危險(xiǎn)信號(hào)。更換內(nèi)存時(shí)注意批次一致性。不同批次、不同封裝廠商的內(nèi)存混插電氣特性可能存在細(xì)微差異在高溫高壓場景下容易觸碰臨界點(diǎn)。尤其是數(shù)據(jù)中心級(jí)別部署盡量統(tǒng)一批次和型號(hào)。ECC只是可靠性架構(gòu)的一環(huán)不是全部。我見過不少項(xiàng)目硬件全是頂配ECC、RAS、熱備都做了但軟件層面對硬件錯(cuò)誤沒有處理策略進(jìn)程收到SIGBUS直接崩潰沒有任何優(yōu)雅降級(jí)或重試機(jī)制。錯(cuò)誤處理鏈路是軟的和硬件同樣重要。最大的一次教訓(xùn)是有臺(tái)設(shè)備日志里反復(fù)出現(xiàn)CE但大家都沒當(dāng)回事覺得反正ECC能糾正。最后一次內(nèi)存條徹底失效文件系統(tǒng)緩存里的關(guān)鍵數(shù)據(jù)塊被靜默寫壞備份也受到影響恢復(fù)數(shù)據(jù)花了兩周時(shí)間。從那以后我在任何項(xiàng)目里都把CE趨勢監(jiān)控當(dāng)成基礎(chǔ)配置絕不等到最后再處理。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
黄色视频高清无码网站| 秋霞曰韩R级| 国产家庭乱伦网址| 欧美淫乱视频| 精品人妻av在线播放| 五月丁香狠狠爱| 国产亚热在线久久| 国产一级内射无挡观看| 国产馆极品诱惑| 视频二区美腿制服人妻欧美| 日韩精品99999| 亚洲精品一区二区免费在线观看| 无码人妻精品一区二区三区99不卡| 无码国产精品久久久久| 超碰在线97国产| 伊人久久综合影院精品久久久| · —级AA伦aa坐爱午夜极速ⅴA一区天天噪天天噪天天噪 | www欧美91| 亚洲一区二区三区欧美日韩| 久久精品91| 亚洲 自拍偷拍 欧美| 99r九九| 99re95| 国产精品爆乳懂色蜜乳| 性欧美天天| 91天天| 亚洲精品久久久久久久久豆丁网| 亚洲小说视频| 狠狠久久亚洲欧美专区| 免费A片三p视频| 夜夜青青无码影院| 久久m| 色婷婷99| 狼天天狼天天大香蕉| 青草伊人久久| 蜜桃无码AV一区二区| 超碰天天操| 探花视频免费观看国产专区| 中文字幕一区二区三区人妻不卡 | 久久riav中文精品| 久久久久久无码人妻中文字幕| 亚洲国产丝袜熟女av| 少妇一线天久久久久久| 97国产超碰| 99国产精品人妻人伦| 国产精品一区二区久久精品| 老女人碰碰在线碰碰视频| 18禁中文字幕| 亚洲,欧美,综合网| 91n美女视频| 无卡一区=区| 成年女人18级毛片毛片免费观看| 无码粉嫩白虎一线天b区| 清柠毛片| 手机午夜电影神马久久| 欧美激情黑人| 99999精品成人| 亚洲国产欧美一区二区潘金莲 | 亚洲精品一二牛牛| 久久亚洲日韩熟女精品| 日日干夜夜操视频h| 婷婷丁香九月| 亚欧色图在线激情| 国产亚洲日本| 97任你吞精| 色姑娘综合网| 天天搞欧美| 极品五月天噜噜| 内射小黄片| 97精品97| 久久精品欧美一区蜜桃| 免费视频在线一区二区不卡| 蜜桃丰满熟妇av无码区不卡| 亚洲视频小说| www.99热| 亚洲欧美精品福利在线| 襙一襙| 亚洲激情久久久伊人综合| 久久精品亚洲婷婷| 国产伦精品一区二区三区在线观| 亚洲91在线播放影院| 91熟女丨91老女人| 久久99精品九九久久久婷婷| 91色图片| 久久一区二区三区入口| 4399成人黄A片| 老熟妇一区二区三区…| 亚洲婷婷综合网| 夜精品久无码| 91黑丝少妇| 大香蕉久久| 亚洲色色探花| 台湾成人无码AV| 欧美少妇色图| 国产欧美在线观看免费观看| 国产传媒午夜理伦精品| 操婢日韩| 中文字幕天堂在线| 国产色产精品在线观看| 免费视频一二三区| 久艹免费| 天天色综合影视网| 麻豆尤物视频网| 蜜臀亚洲综合一二三四区| 800zy一区二区| 99久久9| 亚洲国产欧美中文永久| 一区二区三区四区免费视频| 久久久亚洲高清不打码| 成人日韩3| 成人AV超碰免费在线| 国内毛片热久久思思热| 91亚洲色图| 欧洲精品一级二级精品综合视频综合| 久久久91| 欧洲视频在线| 色在线视频导航| 天美麻豆一区二区三区| 97视频在线视频| 岛国小电影| 亚殴在线| 日韩精品第3页| 精久久久91| 精品乱子一区二区三区99| 少妇毛片久久| 久久久噜噜噜久久久| 国产四虎在线| 欧美A√综合网 | 国产精品女久久久久av爽| 韩国一级做a久久久久| 色婷婷A V一二三四区麻豆综合| 天欧美在线| 日本免费一区二区不卡| 欧美天堂第二区| 一区,二区,三区网站| 中国国产精品一区视频| 国产成人无码高清| 狠狠操夜夜操蜜桃视频三区| 欧美内射少妇| 蜜桃精品视频一区| 97在线欧| 91黑丝在线| 人妻无一区二区三区| 国产女人高潮嗷嗷嗷叫小说| 青青操狠狠撩| 男人的天堂2018东京热啪啪啪| 亚洲情色电影网| 色爱综合网欧美| 激情小说亚洲图片| 国产91丝袜 在线播放| 后入式福利| 国产综合久久久麻桃个| 日本一二三免费久久| 91欧美色| 欧美日韩国产成人高清| 一级性爱aaaa| 国产精品一二三在线看| 黄色AV影视| 丝袜综合色图| 91宗合网| 欧美人与性动交a美精品| 亚洲一区二区三区四区视频| 久操高青| 亚洲AV不卡在线观看| 亚洲欧美另类图片| 国产精品福利资源在线尤物| 亚洲国产成人高清在线| 青青草男人天堂| 疯操AV| 亚洲精品一区二区日本| 中文久久爆乳| 久悠悠av| 国产熟女一区二区| 一区二区影院| 久久超碰、| 60秒不遮不挡| 精品一二三区久久AAA片| 久久亚州高清| 91亚洲黄色网| 三级激情网站| 日韩三四五区| 欧美图片校园春色| 国产成人欧美一区二区三区的国产| 日韩成人大片在线观看| 午夜毛片高清免费不卡| 欧美性爱日韩高清| 无码视频黄色网战| 欧美青青视频| 久久久久久久九九九九九九| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 色优久久| 另类图片五月天| 亚洲欧洲日韩天堂av| 久热九九| 91欧美丝袜| 91av一区二区在线观看| 秋霞影音一区二区三区| a男人的天堂久久一级A毛片| 操高情无码| 91jk色拍| 精品99999| 精品精品精品| 蜜区区视频79| 婷婷丁香五月综合| 欧美综合天堂| 户外裸露刺激视频第一区| 成人女人国产| 乱伦a片视频| 免费看污网站| 97干97色| 欧美三级免费伊人| 日韩欧美亚洲一区二区三区影院| 日本孕妇孕交| 午夜福利视频在线一区| 亚洲做性| 啊啊啊啊啊操我视频| 一区二区高清视频| 99热成人| 人妻一区二区三区视频 | 亚洲成人妻日韩在线| 国产高清午夜成人在线观看| 大香蕉在线视频15| 久久中文字幕一区不卡| 大香蕉色欲AV| 亚洲中文字母在线播放| 天美传媒精品一区二区三区| 欧美婷婷五月天| 亚洲Av诱惑| 国产熟女少妇一区| AAAA欧美日韩| 91欧美丨精品丨入口| 色屁屁影院www国产| 五月天色综合| 白嫩少妇| 欧美在线l亚洲| 激情国产乱伦Av| 疯操AV| 亚洲精品视频在线播放| 26uuu欧美日韩| 热热热热日日漂亮永久永久国产日| 顶级丝袜熟女一区二区三区| 欧美一级二级三级| 蜜臀人妻少妇久久在线观看| 丁香五月综合| 欧美成人性爱视频在线播放| 亚洲第91页 | www.av不卡中文字幕| 一块操欧美性爱| 天天色欧美| 大香网伊人久久综合网eew| 精品亚洲国产成人av网站| 亚洲色图 图片| 久久婷五月| 欧美18老人禁| 日韩在线观看AV| 亚洲精品久| 亚洲成人性爱网站在线播放| 青青久日| 中文字幕人妻色偷偷久久皮| 偷窥自拍亚洲天堂网爆| 一个人免费视频观看在线WWW| 少妇蹲下买菜露大唇0| 另类综合另类| 老司机射| 老司机深夜18禁污污网站| 亚洲玖玖爱| 亚洲情色五月天 | 亚洲一二三四区机械| 激情无码日韩| 成人精品在线免费视频| 国产女人9999| 六月激情婷婷| 乱伦图一区| 欧美色图20p| 五月丁香亭亭| 老子午夜伦不卡影院| 欧美日韩狠狠爱| 激情六月天| 91免费看一区二区三区| 欧洲人妻视频| 久热久一区二区三区| 国产亚洲精品美女久久久m| 天天澡天天爽日日AV| 加勒比少妇AV婷婷六月天超碰超碰| 午夜男女爽爽爽在线视频| 亚洲精品久久久久毛片A片拉屎 | 日韩本不卡视频在线观看| 亚欧美天堂在线| 国产精品女久久久久av爽| 人人摸人人入| aV中亚| 美女91色黄18| 色老牛| 亚洲色9| 亚洲天堂性爱| 懂色综合久久久| 婷婷成人五月天| 粉嫩粉嫩一区性色AV片| 韩国一级做A片免费的| 无码 黑人一区二区三区| 亚洲本色精品一区二区久久| AAAA欧美日韩| 91AV入口| 在线中文字幕| 干超碰碰熟女| 中文字幕三四区| 日日躁夜夜躁狠狠躁超爽| 欧美大香蕉在线观看| 操人妻少妇中文| 亚洲五月天激情| 亚洲国产欧美中日韩成人综合视频| 欧美经典一区二区三区| 天天综合网日韩7799| 欧美日韩激情无码专区| 国内毛片无遮挡国产| 亚洲日韩在线a不卡99精品| 亚洲欧美国产中文视频| 亚洲图片日本AⅤ欧美在线| 1级午夜影院费免区| 强奸乱伦AV一天堂网| 色视频蜜乳| 亚洲AV无码翔田千里网站| 一区AV| av网站免费看| 日韩偷拍一区二区三区 | 免費黃色視頻觀看一| 成人26uuu| 伦伦成年午夜免费视频| 久久久九九网站| 久久久久久久人妻| 久久久av爱| 草久久久| 美女上床网站| 蜜臀久久99精品久久久| 人人干黄色| 国产极品美女高潮无套在线观看| 黑人精品成人一区二区三区 | 爱爱动态60秒| 国产欧美岛国精品一区| 九九人人操| 91女人的网站| 91亚洲狠狠色| 成人无遮挡毛片免费看| 午夜福利免费精品视频| 色性综合| 欧美熟爽综合| 亚洲超碰综合网| 久久国产精品m码| 香蕉黄色一级视频| 综合色色网| 国产精品九9| 激情黄色五月天| 国产精品久久泡妞网站| 成年人黄色视频免费| 欧美aaaaaaa| 九九色综合| 日韩99神马视频片| 欧美日韩狠狠爱| 黑人美精品 A片| 91九九| 内射黑人| 欧美色图91| 精品久久久久久久| 国产 三级自拍| 天天流夜夜操| 日韩成人人妻网站| 深喉吞精| 亚洲熟女中文字幕在线| 日韩人妻免费精品| 人人插人人搞人人操| 老熟女乱伦片| 中文久久| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 午夜亚洲WWW湿好大| 精品国产乱码久久久久久口爆网站| 亚洲日韩精品在线播放| 蜜乳av一区二区三区四区不卡| 9丨久久九九九 | 亚洲欧洲第二视频在线观看色图| 97欧美| av婷婷色婷婷色六月| 99啪啪视频| 欧美大片91| 欧美午夜视频精品久久| 高潮内射在线| 欧美亚洲手机在线| 久久99精品视频| 日韩精品人妻中文字有码在线| 亚洲牲交| 嗯嗯嗯好爽| 欧日韩一二三f区| 三级色综合| 综合网~91综合网| 亚洲影视综合| 狠狠操狠狠爱| 五十路熟女人妻一区二区三区四区五| 五月婷色| 天美传媒婬乱在| 婷婷五月天激情小说| 色噜噜人妻av中文字幕| 色伊人91| 九九久久99| 国产精品ⅴ无码大片在线看.| 高潮内射在线| 97九色| 色av中文字| 99热在线观看| 德国一二三不卡| 免费αV在线视频| 色一射色一射| 色哟哟-国产专区| 人人手机欧洲亚洲国产人妻| 99人妻| 五月激情综合网| 91熟女丨91老女人| 大香蕉综合| 欧美一级黄色免费专区| 欧美精品 - 91爱爱| 久久久精品中文字幕爱豆| 热久久九九热| 无码 有码 国产18p| 超碰97人人乐| 丁香六月综合激情| 性久久久| 风月影院男女十八禁| 精品一二三区久久AAA片| 欧美一级在线观看成人| 夜夜骑操视频| 久久肏大逼| 九九九成人| 色性综合| 一区二区三| 亚洲成A∨人影院在线欢看| 欧美激色| 日本特黄f c2| 国产一区二区三三视频| 亚州,欧美在线| 亚洲天堂,男人| 91在线免费精品视频| 精品网站99999| 凸凹视频在线观看| 精品高潮| 后入日本1234| 91亚州欧美| 国产又粗又长又爽又色| 999综合网| 精品综合久久久久久97| 天天天天操| 好爽视频在线观看| 欧美伦乱爱| 91精品久久久久久久久久| 国产精品乱人伊人网| 亚洲1区| 日本不卡高清视频| 97干在线| 成人天天看站长推荐| 看日韩操逼| 九草九九九| 久久超碰爱| 亚洲精品无码成人久久久99| 中国熟妇| 中文熟女五十乱码在线| 欧美在线伊人色| 九色婷婷| 日韩丝袜二区| 亚洲阿v天堂无码z2018| 91国模| 欧亚日韩三区| 91色艳| 深田咏美亚洲精品福利社| 精品黄色电影| 天天日骚逼熟女| 人人喜人人妻| 首页亚洲国产高跟丝袜诱惑视频| 殴美大黄片| 在线无码网站| 亚洲一区操| 一区二区播放| 亚洲免费成人在线高清无码视频 | 富女玩鸭子一级毛片| 日韩AV噜噜噜一区二区三区四区| 五月色综合| 久久精品国产精品亚洲艾通辽熟妇 | 日韩大香蕉| 亚精品无码毛片一区二区三区| 久久色激情一区二区三区| 91干熟女| www.91理论| 人人看欧美性爱| 无码精品久久| 久久性爱视频99| 大香蕉中文网| 亚洲欧美清纯| 欧美劲爆第一页| 91痴汉| 久久夜嗨| 国产又黄又猛又粗又爽的网站| 日本性爱少妇| 综合色久欲| 日韩99精品视频综合区| 男人的天堂啪啪啪啪啪蜜桃不卡| 欧美A√综合网| 操人妻视频| 黄页网站免费高清在线观看| 久久草视频污视频| 欧美顶级黄色大片免费| 1769一区二区| www.人人摸在线视频| 91成人社区| AV女优男人的天堂| 亚洲第一无码播放立川理惠| 亚洲亚洲亚洲天堂天堂| 乱论91| 花野真衣| 久久久偷拍| 操逼片国产| 中文字幕在线高清男人的天堂| 福利操逼| 综合久久久久久久久91| 亚洲AV资源| 伊人久久大香蕉线AV五月天| 五月天激情小说| 精品久久久久久亚洲| 欧美日韩91| 婷婷激情五月| AV乱伦专区| 日韩AV电影网站| 欧美一区二区日韩三区| 中文自拍欧美影视| 九九热超碰| 女优免费一区二区永久| 男人的天堂亚洲| 亚洲熟妇图片| 青青草国产亚洲精品久久| 日韩在线97| 美女让帅哥通她小鸡鸡| 欧美情色亚洲| 精品国产Av无码久久久亚洲| 一个人免费视频观看在线WWW| 国产精品久久久久久久AV大片 | 能直接看AV的网站| 婷婷亚洲色| 午夜性| 天天射影院| 一级久久久久久久久久久 | 日韩在线人妻网站| 97色色网| 亚州操逼图| 爱逼综合| 91黑丝露脚| 久久久人妻| 一区中文字幕二区日韩| 色噜噜人妻av中文字幕| 波多野结衣AV无码一区| 超碰人人在线| 好舒服视频| 97碰碰色| 蜜臀一区二区三区亚洲最新章节在线观看 - 高清蜜臀一区二区三区亚洲全集播放 | 天天看高清麻豆| 99精品九九九九九九| 久久精品国产AV一区二区三区| 日本 色 导航| 精品一区二区三区最新| 性生活性生大爱77AV国产| 欧美一区二区三区日韩| 久操精品网| 91久精品| 亚洲性高潮| 国产无码精品高清| www五月| 国产强奸AV在线| 色丁香五月婷婷| 殴洲老熟女| 国产真实子伦对白| 亚洲欧美精品一区天堂久久 | 日韩视频中文字幕| 午夜精品视频777| 久久免费精品96| 男人综合网| 日本亚洲熟女视频| 亚州九九九精品视频| 午夜a成v人电影| 精品国产乱码久久久久久久久1| 欧美激情亚洲情色| 亚洲暴力强奸AV| 日本一天色道久久久精品视频| 中文视频在线观看| 亚洲中文字幕97久久精品少妇| 99精品高潮| 国产女人和拘做爰视频 | 欧美日韩大陆黑人少妇99| 日韩欧美丝袜诱惑| 日韩无码AB| 精品视频专区| 97久久超碰国产网站| 温婉少妇玩3p| 男女国产精品| 一区二区精品更新提醒| 亚洲玖玖爱| 日本亚洲vr欧美不卡高清专区| 九九九九九九九精品视频| 开心婷婷五月| 久久AV无码AV| 少妇高潮喷水无套久久久久久| 中字乱伦AV| 一级性爱视频免费观看 | 日韩精品一二三四| 久久精品操| 九九亚洲| 婷婷五月天伊人| 免费作爱一级视频| 国产91精品在线免费| 久久精品夜色国产亚洲AV| 国产尤物AV尤物在线观看不卡| 家庭乱伦国产| 国产精品一二三免费网站| 99re在线视频国产| 少妇99成人麻豆| 91色色网站| 色嘟嘟人妻天堂网| 97色97好| 琪琪精品免费一区二区三区| 久操| 欧美有码亚洲中文字幕一区二区三区四区| 亚洲限制级| 色综合超碰超| 九九九九亚洲| 色情乱伦AV| 欧美91精彩| 综合五月天| 激情六月天| 粉嫩粉嫩一区性色AV片| 国产中文字幕曰本毛片| 色综合91| 久久99草| 怡红院一区二区熟女人妻| 欧美啪啪女女| 蜜臀AV一区二区三区激情综合| 岛国福利在线精品播放| 农村妇女一级二级三级视频| 人妻81p| 97爱b| 女人的天堂大香蕉网| 丁香五月综合| 就去色综合| 黄色性爱网网| AV中亚| 亚洲日韩av专区无码| 欧美高清色| 夜夜操二区| 欧美中文字幕男人天堂久久精品 | 欧美亚洲天天| 麻豆天美91| 炮色五月| 久久69精品久久久久久久| 综合网97| 欧美一级AAAAAAA| 午夜.DJ高清在线观看免费7| 91亚.色| 精品国产网站| 日韩中文字幕视频在线观看| 免费一级性爱久久| 我要色综合网| 久久风骚城市| 中文字幕诱惑制服人妻丝袜美丝袜美| 91 手机在线播放 绯色| 99国产精品久久久久久久成人热| 97欧美色| 97婷婷色| 天天做天天爱| 欧亚第一综合网| 啊操爽品善一区二区三区| 97国产精品久久久久| 国产av青草| 2020国产精品| aaaa少妇高潮大片| 国产福利在线视频网站| 明星性猛交ⅹxxx乱大交| 操熟女91| 无码二级三级| 亚洲久草AV色图| 欧美日韩人妻婷婷一区| 人妻91少妇| 国产精品久久久久久久久久久久久久久久| 91在线视频免费中出| 色综合五月天| 搡老熟女免费视频| 中文字幕一区二区视频在线观看| 襙一襙| 99热这里只有精品18| 成人A片男人的天堂| 亚洲AV无码国产精品久久久久 | 久久人妻无码毛片A片麻豆| 嗯嗯啊啊用力视频免费| 亚洲婷婷五月天| 加勒比大香蕉视频在线| 性暴力欧美猛交在线直播| 国产精品丝袜久久亚洲不卡| 无码一区免费在线不卡| 97国产高清视频在线观看| 天堂伊人久久| 欧美色视频在线| 中文人妻av高清一区| 夜夜做夜夜爽精品视频| 国产激情视频一区区三区| 欧美日韩国内不卡| 欲综合网| 67914在线兔费成人视频| 91人人操| 日韩不卡a级视频专区| 天天弄欧美| 日韩免费福利在线观看| 久久久久久久久久久久久久9999| 五月婷婷六月丁香| 亚洲欧美日韩国产丝袜自拍中文| 人人干黄色| 热热色色综合| 嗯嗯啊好大| 蜜桃香蕉久草精品在线| 亚洲性感丝袜诱惑在线观看| 黄片com.| 青青草一区二区高清无码视频| 日本激情免费大片| AV污污污污| 精品久久99| 一二视频神马久久传媒| 去干网最新版| 欧美色视频在线| 夜夜爽夜夜操| 日韩精品-原创伙伴| 国产白丝网站| 亚洲中文制服诱惑| 97国产伦理| 东京热大香蕉| 欧美国产精品| 国产一级特黄大片处女| 亚洲人妖网| 天天日熟妇| 夜夜爽夜夜高潮夜夜爽| 亚洲熟女乱色一区二区三区| 韩日性爱av| 天天影视色香欲综合网小说| 色哟哟综合| 无码少妇精品一区二区60岁老人| 97中文天堂| 99热日| 天美传媒精品久久视频| 亚洲春色一区二区三区| 1769精品一区二区三区| 国产精品乱码久久久久久久久久久久| 天堂精品| 国产91福利小视频在线观看| 国产白嫩漂亮KTV在线| 防屏蔽在线视频| 久偷拍欧美日韩三区| 欧美宗合网| 久久综合亚洲色1080p| 久久美女福利是上海美女| 九九色综合| 久久天天躁日日躁狠狠躁| 综合五月天| 一本色道久久天天射天天干| 五月丁香亭亭| 国产精品久久久亚洲一区| 欧美综合中文| 青青操综合网| 国产性刺激| 国模艳艳啪啪一区| 玖玖爱一区在线| 天天看天天在线精品| 1204金沙人妻懂旧版免费| 日韩,欧美,中文在线| 日日干夜夜操视频h| 亚洲综合 欧美| 人妻激情偷乱视频一区二区三区| 青青草日韩无码| 特级毛片特黄久久免费看| 亚洲熟女乱色一区二区三区久久久| 黑操B| 国产做?爰片久久毛片?片美国| 免费日韩黄片| 一级成人性爱| 超碰人人干天天射| 91中文精品日韩欧美在线 | 国产乱伦亚洲| 999久久久| 久久亚洲熟妇在线视频| 91bbb| 婷婷色五月激情| 热热色综合网| 淫荡少妇免费| 欧洲与亚洲欧美精品中文字幕| 一区二区三区美女超清| 久久婷婷色综合一区二区三区| 国产搭汕a级片| 国产日韩欧美亚洲精品95| 91在线欧色| 密臀在线免费观看| 日本精品一区三区| 九九aV| AV天堂国产| 亚洲成人帖图| 欧亚韩国999| av一区二区三区四区五区久草臀| 国产午夜无码片在线观看影视 | 人人摸人人舔一区二区| 91久久久久久| 婷婷丁香成人| 婷婷久久综合久| 囯产精品久久久久久久久久梁医生| 狠狠爱综合| 丰满人妻一区二区三区四区| 国产精品欧美激在线| 夜草网站| 亚洲成人性爱网站在线播放| 午夜久久一区二区无码中出| 亚洲综合91| 日本不卡二三区| 一区久久久二区| 熟妇xxxxx性春色| 欧美色图天堂网m| 亚洲熟女偷拍在线观看| 久久99草| 大香蕉狠狠爱| 校园激情狠狠四射| 91痴汉| 久久久少妇诱惑精品视频| 91黑人无码激情在线| 久久九九99| 日韩专区久久久| 国产 日韩 另类 视频一区爱| 欧洲一区二区三区四区在线观看| 婷婷丁香成人| 国内一区二区免费| 五月天综合网| 久久‘黄片视频| 偷偷人人精品女女久久| 欧美图片偷拍| 18禁在线视频| 嗯……啊…嗯嗯…啊…好舒服| 亚洲AV成人无码一二三久久 | 国产精品天堂| www.99热在线只有精品| 伊人影院综合是一个与深夜成人在线| 国产美女91| 操我啊啊啊啊啊| 日韩 欧美 另类 人妻| 2003天天干夜夜操| 日韩专区数据列表-第3230页-精品国产一区二区三区香蕉 久久99熟女人妻中文字 | 亚洲色欲一区二区三区| 搡老女人老妇女AAA一VU麻豆 | 欧美嗯啊……在线观看视频免费| 久久av无码| 中文字幕诱惑制服人妻丝袜美丝袜美| 91碰碰碰| 精品国产无码中文| 亚洲无码一区成人免费午夜| 九九英色视频| 欧美大香蕉专区网| 黄骗免费网站| 2017天天透天天通天天擦| 东京热男人的天堂网| 欧美操逼熟女| AAAA级日本片免费视频| silk lablo在线观看一区二区| 手机看av网站在线看| 白丝被操91| 国偷自 一区| 嫩草伊人久久精品| 天天射,天天操,天天爽-国内精品一区二区三区-成人AV | 国产AV线| 黄色十八禁网站| 超碰99在线| 强奸乱伦动态污图免费| 亚洲国产另类在线中文| 超碰色图| 久热精品在线| 超碰在线1234区| 欧美日韩婷婷中文| 中文字幕一区 二 区 三 四 五 区日 日 骚| 亚洲一区二区三区AV无码 | 九九九九九九免费视频| 国产午夜视频| 国产无码精品成人| 久久精品国产亚洲粉嫩| 91熟女视频网| 国产成自自拍在线观看| 青青草日本无码| 日本天天色| 色色色99| 天天干人妇| 欧美日韩 强奸乱伦| 爽爽淫人网| 久久久久久久久久久久色网| 超碰久久性爱| 色牛牛AV| 久久人妻| 丝袜色综合| 色牛牛AV| 91精品国产91综合久久蜜臀| 亚洲色香| 人人色人人操在线| 校园春色五月天| q2午夜理论片夜色av| 九月婷婷综合| 狠狠中文字幕| 有码专区最新中文字幕有码| 国产精品国产自产高清AV| 国产免费一区二区在线A片视频| 色九九九九九九| 91黑丝美女| 九九九九九九免费视频| 97免费免费视频网| 黑丝少妇| www九九热| 亚洲成a人片在线观看中文!!!| 国产女人与拘做受视频免费| 黄片色区软件| 熟女六十路| 亚洲国产一级黄色视频| 亚洲。天堂。日本在线观看| 天天狠| 国产一区二区啪啪视频| 人爽不卡视频| 国产自产91区13区| 久久成年精品| 国产精品久久久蜜臀| 强奸熟女一区二区三区| m欧洲一级午老| 欧美中文字幕一区 | 亚洲一本色道中文无码aV天美| 日日摸日日弄日日拍| 综合色91| 秋霞网—男女啪啪亚洲免费体验区| 国产色呦呦| 人妻在线中出视频| 在线洲亚线| 操迟操逼在巾线Fre看| 亚洲五月天激情| 桃色人妻在线视频| 天天看片麻豆| 日日夜夜草草草| 欧美情色贴图| 久久人妻少妇| 久久久精品国产亚洲伊人| 午夜亚洲国产理论秋霞| 激情综合网五月婷婷五月天| 色偷偷2020免费视频播放| 婷婷人妻激情| 欧美丝袜91| 国产福利一区二| 亚洲欧综合另类无码一区| 99热在线播放| 啊啊啊啊啊在线视频| 国产深喉| 欧美成人免费在线观看| 97亚洲精品| 丝袜足交视频| 精品国产三级av韩国在线| 最新av网站在线观看| 涩五月婷婷| 婷婷色色网| 曰本精品久久久| 青青草女人天天干| 国产又黄又爽| 精品国产一区二区三区在线播出| 一区二区三区成人高清视频| 黑操B| 极品粉嫩少妇视频| 欧美色道啊| 国产av强奸美女| 香伊人在线| 最近二区三区视频大全| 久久久青青草| 玖玖久久久| 精品一区二区成人| 久久久久七视频| 蜜臀久久99精品久久久久久久久| 高清无码91| 色色色色日本| 91美腿丝袜在线观看| 亚洲欧美激情小说| 欧美亚洲色图另类国产| 日韩97视频!在线| 天堂综合| 91精品久久久久久| 久久这里是精品| 久久欧美1卡2卡3| 中文字幕一区二区三区四五区| 亚洲精品日韩国产欧美| 综合熟女| 欧美91网| 乱伦av.com| 婷婷五月天久久精品视频一区二区三区| 国产天天看| 精吧天堂| 久久久久久亚洲Av无码| 久操影视| 久久精品—区二区三区内射| 亚欧无码在线| 熟妇高潮精品一区二区三区下载| AV麻豆免费一区| 蜜臀av在线播放一区二区三区| 国产美女精品| 综合亚洲欧美| 狠狠操天天干| 九九九九九九九九九国产精品 | 2017天天插| 日日操天天操| 骚货操死你| 亚洲 日韩 欧美 国产综合体| 91黄站| 花花AV导航| 色色婷| 中文字幕在线观看二区三区| 91久久久久久久久18| 91亚洲人电影| 日本性爱少妇| 亚洲熟妇A V黑人| wwe 天天干.com| 色婷婷电影网| 精品久久久久久无码| 91A欧美电影网站| 国产精品一区二区麻豆| 久久久久国产精品喷潮免费观看臀| 五十路人妻在线| 亚欧高清v| 美女久久久久久久久久久| 9久久9综合| 亚洲性爱电影| 亚洲图片偷拍欧美| 欧美日韩成人在线| 精品无码一区二区三区色欲| 久久国模av| 爱做久久久久久| 少妇久久久| 亚洲男人天堂2016| 欧美精品日韩一区二区| 97综合在线| 欧美少妇性乱| 999岛国大片| 精品国产乱码久久久影院| 日夜啪电影| 人人操人人搞人人草| 99精品九九九九九九| 欧美色图中文字幕| 亚洲国产成人福利在线观看| 四虎免费在线播放| 男人的天堂2018.| 强奸乱伦大香蕉网| 国产91 丝袜在线播放00-百度| 蜜桃久久久久久久| 操比国产| 欧美成人一级麻豆| 亚洲丝袜制服国产91_国语字幕免费观看完整版下载第5集_ | 日韩乱伦影音先锋| 久久尹人大香焦视| 中文字幕、久久精品国产2020、久久综合久久自在自线精品自、亚洲 | 午夜福利精品| 国产一区自拍欧美日韩| 久久久久久国产无码精品| 五月丁香亭亭| 青娱乐淫乱1314| 亚洲妇色| 欧美综合区| 18禁看网站一区| 精品十八在线观看| 日韩精品操少妇| 久99| 18禁精品网站在线看| 超碰美女97| AV久日| 人人操天天爽| 成人国产精品三级A片| 亚洲无码国产探花在线观看| 人妻少妇精品久久久久久| 日本超碰色精品| 好湿好紧好爽 视频| 日韩人妻免费精品| 日韩精品在线放| 久久超碰com| 大香蕉日亚洲日本亚大 | 亚洲日韩精品久久久久一区壹牛 | 91日产欧美| 日韩美女久久一区二区三区| 国产精品亚洲免费| 日韩激情啪啪啪| 国产强奸乱伦第1页| 97亚洲色图| 日本高清一本二本免费不卡| 啊啊啊啊啊啊啊啊啊啊在线观看| 超碰国产情侣自拍网| 青青操综合网| 高潮毛片无遮挡高清免费| 国产在线综合福利网站| 欧美91变态| 久久αⅴ| 97中文字幕九区| 日本国产二线女色| 国产精品久久久久久夜夜夜夜| 国精综合一二三区影视| 91在线限制级| 啊啊啊在线观看| 精品一区二区成人| 久久三区四区| 福利大香蕉| 色五月丁香五月| 91青青在线视频| 一级黄色视频网| 久草男人天堂| 国产精品亚洲一级av第二区| 国产欧美日韩臀| 在线日韩精品一区二区三区| 欧美色图天堂在线| 视频不卡中文字幕| 大香蕉啪啪啪啪在线| 日韩少妇无码| 丰满人妻-区二区三区| 久久久久久久| 日韩欧美三级| 91亚洲最新在线| 超碰97男女| 不卡日本一区二区| 岛国免费视频在线| 中文字幕av色| 久久久亚洲Av| 啊嗯嗯啊好大好爽| 国产综合永久精品日韩鬼片| 欧美啪啪天堂| 五月婷在线| 日本孕妇一区二区视频操逼免费看| 69AV女优男人的天堂| 亚欧免费| 亚洲AV永久无码精品成人调教| 亚洲色诱惑| 秋霞一级鲁丝片A片| 91 国产丝袜在线播放-百度| 国产色呦呦| 九九九久久久| 亚洲成人在线资源| 青青11操操操操操操操操| 夜夜操美女| 国产在线强奸视频| 久久精品六区| 后入式视频国产自| 国产激情在线| 风月影院男女十八禁| 玖玖97综合| JIZZJIZZ国产精品喷水| 青椒国产97在线熟女| 麻豆精品久久久久久久| 人人么人人操| 波多野42部无码喷潮在线观看| 亚洲91综合| 国产乱弄免费在线视频。| 一级黄色影片| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 日本免费一级AAA大片器| 巨爆乳肉感一区二区三区竹菊影视| 婷婷五月天社区|