日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

ECC內(nèi)存糾錯(cuò)與UE排障:從“顯示2”到MBIST驗(yàn)證實(shí)戰(zhàn)解析

ECC內(nèi)存糾錯(cuò)與UE排障:從“顯示2”到MBIST驗(yàn)證實(shí)戰(zhàn)解析 寫這一段內(nèi)容時(shí)我心里其實(shí)先想到的是兩年前半夜處理一臺(tái)存儲(chǔ)節(jié)點(diǎn)告警的場(chǎng)景帶外管理頁(yè)面里那段Uncorrected ECC Error Count: 2以及第二塊DIMM槽位上那根看似全新、實(shí)際已經(jīng)悄悄壞掉的內(nèi)存條。也就是從那個(gè)顯示2開(kāi)始我把ECC相關(guān)的日志解析、寄存器和MBIST測(cè)試鏈路整個(gè)翻了一遍才慢慢把這個(gè)領(lǐng)域里容易被忽略的細(xì)節(jié)串成體系。這篇東西不是教科書是我把ECC從原理到排障、再到芯片驗(yàn)證側(cè)與MBIST交互踩過(guò)的所有坑一次性整理出來(lái)給同樣被這個(gè)2困擾過(guò)的運(yùn)維和驗(yàn)證工程師省點(diǎn)時(shí)間。1. 項(xiàng)目整體思路拆解ECC到底在解決什么問(wèn)題1.1 從顯示2說(shuō)起ECC不是玄學(xué)是一個(gè)現(xiàn)實(shí)交換打開(kāi)服務(wù)器日志最讓人心頭一緊的不是CECorrectable Error而是UEUncorrectable Error尤其當(dāng)帶外管理面板上赫然寫著uncorr. ecc 顯示2。很多人第一反應(yīng)是完了內(nèi)存要炸其實(shí)這個(gè)2代表的是在這臺(tái)機(jī)器運(yùn)行周期內(nèi)EEC引擎檢測(cè)到了兩次它自己也無(wú)法糾正的、發(fā)生在內(nèi)存讀路徑上的錯(cuò)誤。ECC的全稱是Error Correcting Code糾錯(cuò)碼。它和防錯(cuò)完全是兩回事。DRAM存儲(chǔ)單元本質(zhì)是一個(gè)電容加一個(gè)晶體管電容漏電導(dǎo)致bit翻轉(zhuǎn)是它的物理宿命。ECC能做的是當(dāng)數(shù)據(jù)從內(nèi)存讀出來(lái)時(shí)通過(guò)一組額外的校驗(yàn)位和數(shù)學(xué)運(yùn)算判斷這一拍讀出來(lái)的數(shù)據(jù)有沒(méi)有錯(cuò)以及如果只錯(cuò)了一個(gè)bit能不能反推出原來(lái)的值。因此ECC并不是阻止錯(cuò)誤發(fā)生而是在錯(cuò)誤發(fā)生的那一刻把它兜住避免錯(cuò)誤數(shù)據(jù)落入CPU的計(jì)算管線。有代價(jià)就有取舍。ECC需要額外的DRAM顆粒來(lái)存放校驗(yàn)位典型DDR4 ECC方案下72位物理位寬中只有64位是數(shù)據(jù)位剩下的8位全部用于校驗(yàn)。這意味著內(nèi)存控制器要處理更寬的內(nèi)部總線、更復(fù)雜的時(shí)序以及每一次讀寫都要多走一套編解碼電路。1.2 ECC的三大落地場(chǎng)景ECC其實(shí)不是內(nèi)存的專屬詞。從消費(fèi)級(jí)到企業(yè)級(jí)從CPU內(nèi)部緩存到SSD主控再到PCIe鏈路到處都有它的身影。梳理下來(lái)核心場(chǎng)景可以分成三類內(nèi)存ECC最經(jīng)典也最被人熟知。用于糾正DRAM顆粒內(nèi)部的隨機(jī)bit翻轉(zhuǎn)。根據(jù)能力不同分為單bit糾錯(cuò)SEC和單bit糾錯(cuò)加雙bit檢錯(cuò)SEC-DED這是服務(wù)器內(nèi)存的基本盤。存儲(chǔ)介質(zhì)ECCSSD里的NAND Flash、機(jī)械硬盤里的扇區(qū)數(shù)據(jù)都會(huì)用LDPC或BCH這類更有攻擊性的糾錯(cuò)碼。它們面對(duì)的錯(cuò)誤形態(tài)更復(fù)雜比如NAND的電荷泄漏、寫干擾引起的連續(xù)多位錯(cuò)誤。傳輸鏈路ECCPCIe、DDR總線上傳輸?shù)臄?shù)據(jù)也帶CRC或ECC類型的保護(hù)用來(lái)對(duì)抗信號(hào)完整性問(wèn)題導(dǎo)致的位錯(cuò)誤。這三個(gè)場(chǎng)景往往是聯(lián)動(dòng)出現(xiàn)的內(nèi)存ECC掛了報(bào)出來(lái)的錯(cuò)誤可能會(huì)被上層存儲(chǔ)的ECC再次兜住也可能直接流到CPU觸發(fā)Machine Check。理解這一點(diǎn)對(duì)后續(xù)排查那條uncorr. ecc 顯示2會(huì)很有幫助。1.3 誰(shuí)需要把這篇文章看完如果你是服務(wù)器運(yùn)維、存儲(chǔ)管理員或者正在做芯片級(jí)存儲(chǔ)控制器驗(yàn)證這篇文章能幫你徹底搞清楚三件事ECC是如何在底層工作的為什么顯示2了系統(tǒng)還沒(méi)癱以及當(dāng)MBIST測(cè)試遇上ECC邏輯時(shí)那些繞不開(kāi)的設(shè)計(jì)交互。尤其是最后一點(diǎn)很多做驗(yàn)證的同事容易忽略但它往往是芯片回片后最難查的bug之一。2. ECC糾錯(cuò)原理拆解從bit翻轉(zhuǎn)到糾錯(cuò)引擎2.1 DRAM單元為什么會(huì)翻轉(zhuǎn)DRAM的最小存儲(chǔ)單元是一個(gè)晶體管加一個(gè)電容電荷存不存在由電容上的電壓決定。邏輯1對(duì)應(yīng)高電壓邏輯0對(duì)應(yīng)低電壓。電容會(huì)漏電所以DRAM必須周期性刷新這就是它名字里Dynamic的由來(lái)。如果一次刷新間隔內(nèi)有高能粒子擊穿電容介質(zhì)或者鄰近單元讀寫在位線上耦合出足夠大的噪聲干擾單元里的電荷狀態(tài)就會(huì)改變這就是我們說(shuō)的bit翻轉(zhuǎn)bit flip。在芯片工藝還在90nm甚至更高的年代alpha粒子封裝材料中的微量放射性元素衰變產(chǎn)生是主要元兇。工藝到28nm以下后中子引發(fā)的單粒子效應(yīng)SEE比重開(kāi)始上升。這些微觀層面的物理過(guò)程無(wú)法徹底消除ECC的意義就在于與其祈禱粒子不砸中存儲(chǔ)單元不如設(shè)計(jì)一套機(jī)制讓砸中之后系統(tǒng)還能繼續(xù)正確運(yùn)行。2.2 SEC-DED的數(shù)學(xué)底牌ECC內(nèi)存最常用的方案是SEC-DEDSingle Error Correction, Double Error Detection也就是單bit糾錯(cuò)、雙bit檢錯(cuò)。這里有一個(gè)被很多人問(wèn)爛了的問(wèn)題64位數(shù)據(jù)為什么需要8位校驗(yàn)位這要用漢明碼的編碼原理來(lái)解釋。假設(shè)我們需要給64位數(shù)據(jù)附加r位校驗(yàn)位那么這r位校驗(yàn)位需要有足夠多的組合狀態(tài)來(lái)同時(shí)完成兩件事一是定位出哪一位出錯(cuò)如果沒(méi)錯(cuò)也作為一種狀態(tài)二是保證任意一個(gè)bit翻轉(zhuǎn)都能被圈出來(lái)修正。對(duì)于單bit糾錯(cuò)校驗(yàn)位需要滿足一個(gè)不等式2^r m r 1其中m是數(shù)據(jù)位寬r是校驗(yàn)位寬。m64時(shí)r6可以算出2^664而64617164不滿足大于等于71不夠r7時(shí)2^7128128647172滿足。所以理論上有7位校驗(yàn)位就夠了。但這是純漢明碼的SEC能力它無(wú)法可靠區(qū)分單個(gè)數(shù)據(jù)位翻轉(zhuǎn)和兩個(gè)數(shù)據(jù)位同時(shí)翻轉(zhuǎn)。為了做到雙bit檢錯(cuò)DED要在漢明碼的基礎(chǔ)上額外加上一位奇偶校驗(yàn)位覆蓋整體碼字的所有位這樣如果發(fā)生了雙bit翻轉(zhuǎn)糾正邏輯會(huì)因?yàn)樾r?yàn)方程矛盾而放棄糾錯(cuò)并上報(bào)一個(gè)不可糾正錯(cuò)誤UE。這就是為什么我們看到的內(nèi)存ECC物理位寬是64872位。還有一個(gè)算起來(lái)很直觀的對(duì)比如果只做奇偶校驗(yàn)parity1位錯(cuò)誤的檢測(cè)率是100%但沒(méi)有任何糾錯(cuò)能力一旦檢測(cè)到錯(cuò)誤只能panic重啟。ECC則把檢測(cè)到錯(cuò)誤和糾正錯(cuò)誤之間的鴻溝填上了一半。2.3 編解碼流程和延遲代價(jià)ECC編碼和解碼發(fā)生在內(nèi)存控制器的數(shù)據(jù)通路上。寫入路徑上控制器把64位數(shù)據(jù)送進(jìn)編碼器算出8位校驗(yàn)位連同數(shù)據(jù)一起寫入DRAM讀取路徑上控制器把72位數(shù)據(jù)數(shù)據(jù)校驗(yàn)一起讀回送進(jìn)解碼器。解碼器內(nèi)部會(huì)重新對(duì)64位數(shù)據(jù)做一次編碼得到新的8位校驗(yàn)位然后用新的校驗(yàn)位與存儲(chǔ)的8位校驗(yàn)位做XOR運(yùn)算得到一個(gè)8位綜合征syndrome。綜合征全0讀取過(guò)程沒(méi)有出錯(cuò)。綜合征非0說(shuō)明數(shù)據(jù)或校驗(yàn)位產(chǎn)生了變化。通過(guò)綜合征與碼字中每位的對(duì)應(yīng)關(guān)系可以定位出哪一位翻轉(zhuǎn)然后直接把它求反完成糾正。如果綜合征表明翻轉(zhuǎn)位置與奇偶校驗(yàn)方程沖突說(shuō)明至少兩個(gè)bit同時(shí)出錯(cuò)無(wú)法定位上報(bào)UE。這里需要補(bǔ)充一個(gè)容易被誤解的點(diǎn)SEC-DED能糾正的錯(cuò)誤前提是同一個(gè)碼字64位數(shù)據(jù)8位校驗(yàn)內(nèi)只發(fā)生一位翻轉(zhuǎn)。如果某個(gè)故障導(dǎo)致同一個(gè)碼字內(nèi)部有兩位翻轉(zhuǎn)ECC就只能報(bào)UE。這也是DDR4時(shí)代的Row Hammer攻擊高頻激活同一行的多個(gè)相鄰行導(dǎo)致鄰行存儲(chǔ)單元電荷泄漏讓安全界聞風(fēng)喪膽的原因——攻擊者可以刻意構(gòu)造雙bit翻轉(zhuǎn)讓ECC失效。延遲方面編解碼器雖然在內(nèi)存控制器內(nèi)部但每筆讀寫都要過(guò)一遍邏輯門DDR4時(shí)代實(shí)測(cè)下來(lái)對(duì)內(nèi)存帶寬的損耗在2%-3%左右延遲增加大約一到兩個(gè)時(shí)鐘周期。和系統(tǒng)因UE直接崩潰相比這個(gè)代價(jià)完全值得。3. 解密uncorr. ecc 顯示2日志、寄存器與應(yīng)急處理3.1 那條告警究竟代表什么如果你用的是x86平臺(tái)無(wú)論是Intel還是AMD內(nèi)存UE最終都會(huì)觸發(fā)Machine Check ArchitectureMCA機(jī)制。CPU內(nèi)部有專門的異常處理單元檢測(cè)到無(wú)法糾正的ECC錯(cuò)誤后會(huì)記錄一組錯(cuò)誤狀態(tài)到MSR寄存器Model Specific Register并可能觸發(fā)MCEMachine Check Exception。在Linux下這部分信息會(huì)通過(guò)mcelog或rasdaemon收集最終顯示在dmesg里。uncorr. ecc 顯示2字面上的意思在這臺(tái)機(jī)器歷史上內(nèi)存子系統(tǒng)上報(bào)的UE次數(shù)累計(jì)為2。別小看這個(gè)數(shù)字它并不代表系統(tǒng)已經(jīng)臨近崩潰而是代表在某兩次訪問(wèn)中ECC引擎遇到了它不能修正的錯(cuò)誤。這兩次錯(cuò)誤是否讓系統(tǒng)實(shí)際不可用取決于錯(cuò)誤發(fā)生在未被操作系統(tǒng)分配的物理頁(yè)還是已被應(yīng)用程序使用的頁(yè)錯(cuò)誤是否命中了CPU緩存未覆蓋的內(nèi)存行平臺(tái)固件是否將MCE配置為接管并終止該進(jìn)程還是直接panic。所以你會(huì)發(fā)現(xiàn)一個(gè)很有意思的現(xiàn)象有的機(jī)器ue_count顯示幾十次系統(tǒng)還好好跑著有的機(jī)器只顯示1次下一秒就panic了。這個(gè)差異在于錯(cuò)誤落點(diǎn)而不是錯(cuò)誤次數(shù)本身。3.2 Linux下怎么精確追蹤UE拿到顯示2之后第一件事不是拔內(nèi)存而是把日志的源頭搞清楚。主流手段有三個(gè)rasdaemon現(xiàn)代Linux發(fā)行版尤其RHEL/CentOS 8以上默認(rèn)用rasdaemon把MCA事件記入ras-mc-ctl。執(zhí)行ras-mc-ctl --summary可以快速看到ce_count和ue_count的匯總ras-mc-ctl --errors可以看到每次錯(cuò)誤的詳細(xì)信息包括Physical Address、DIMM槽位、內(nèi)存控制器和信道編號(hào)。mcelog老牌工具更多面向Intel平臺(tái)會(huì)把MCE事件解碼成可讀文本適合在舊系統(tǒng)上排查。EDAC/sysfs接口/sys/devices/system/edac/mc/mc0/ue_count這個(gè)文件里實(shí)時(shí)保存著不可糾正錯(cuò)誤計(jì)數(shù)。有些平臺(tái)每個(gè)mcX目錄對(duì)應(yīng)一個(gè)內(nèi)存控制器里面的ce_countcorrectable errors和ue_countuncorrectable errors可以直接cat出來(lái)。我曾經(jīng)在一臺(tái)雙路服務(wù)器上遇到過(guò)排查陷阱ue_count顯示2但ras-mc-ctl --errors里只列了一條記錄。后來(lái)發(fā)現(xiàn)是因?yàn)閡e_count在EDAC層把下一次讀取時(shí)又遇到同樣的物理壞地址合并處理了第二個(gè)錯(cuò)誤實(shí)際上是對(duì)同一個(gè)壞DIMM的重復(fù)訪問(wèn)并未產(chǎn)生新的MCA事件。所以看計(jì)數(shù)之前一定要結(jié)合錯(cuò)誤日志里的物理地址和DIMM槽位來(lái)綜合判斷。3.3 一份完整的UE應(yīng)急行動(dòng)清單當(dāng)告警出現(xiàn)在監(jiān)控屏上按下面的順序做能最大程度避免業(yè)務(wù)受損拍照留檔記錄當(dāng)前所有日志輸出包括dmesg、ras-mc-ctl --errors、帶外管理界面截圖重點(diǎn)記錄錯(cuò)誤物理地址和DIMM編號(hào)。確認(rèn)錯(cuò)誤是否持續(xù)增長(zhǎng)。如果undiected地址只出現(xiàn)過(guò)一次則暫時(shí)不恐慌觀察下一段時(shí)間看是否同一根內(nèi)存條反復(fù)出現(xiàn)新地址。定位物理DIMM槽位。根據(jù)rasdaemon或帶外管理控制器報(bào)告的信息將邏輯信道/內(nèi)存控制器編號(hào)映射到主板上的具體DIMM位置。大多數(shù)服務(wù)器主板在BIOS的Memory Ranks信息中會(huì)給出CPU、Channel、Slot編號(hào)的對(duì)應(yīng)關(guān)系。這一步做錯(cuò)了后面拔錯(cuò)內(nèi)存條會(huì)導(dǎo)致整機(jī)直接重啟很傷。安排可維護(hù)窗口進(jìn)行內(nèi)存替換。UE意味著存在不可糾正的硬錯(cuò)誤哪怕是一次性事件也說(shuō)明該內(nèi)存顆粒已經(jīng)處于不可靠狀態(tài)最好的處理方式就是更換。更新固件與微碼。有時(shí)UE是內(nèi)存控制器或時(shí)序訓(xùn)練固件的bug導(dǎo)致的針對(duì)特定型號(hào)顆粒主板廠商會(huì)發(fā)布新的BIOS或BMC固件修復(fù)對(duì)某些內(nèi)存條時(shí)序參數(shù)的識(shí)別錯(cuò)誤。執(zhí)行加壓測(cè)試。換完內(nèi)存后不要立刻上生產(chǎn)用memtest86跑一整輪完整測(cè)試確認(rèn)所有bank、所有地址模式都沒(méi)有報(bào)錯(cuò)再重新啟用設(shè)備。這里有一個(gè)從實(shí)戰(zhàn)里磨出來(lái)的經(jīng)驗(yàn)永遠(yuǎn)不要只根據(jù)ue_count數(shù)字決定要不要換件要看物理地址是否可復(fù)現(xiàn)。因?yàn)閁E一旦觸發(fā)系統(tǒng)固件很可能會(huì)屏蔽相關(guān)物理頁(yè)面后續(xù)訪問(wèn)同一地址會(huì)繼續(xù)產(chǎn)生同樣錯(cuò)誤導(dǎo)致計(jì)數(shù)疊加。這種情況下?lián)Q一塊CPU、甚至只是重新插拔一次內(nèi)存條讓固件重新做內(nèi)存初始化都可能讓計(jì)數(shù)停住。4. MBIST與ECC的相愛(ài)相殺芯片驗(yàn)證視角4.1 什么是MBIST為什么它不能取代ECCMBISTMemory Built-In Self Test是在芯片內(nèi)部、直接掛在存儲(chǔ)器端口上的自測(cè)試電路。它的目的是在制造測(cè)試或上電自檢階段快速覆蓋整片SRAM/DRAM的所有地址單元檢測(cè)stuck-at fault固定為0或1、transition fault翻轉(zhuǎn)慢、coupling fault單元間相互干擾等物理缺陷。有人會(huì)問(wèn)既然MBIST能把壞內(nèi)存顆粒測(cè)出來(lái)為什么還需要ECC答案是MBIST在出廠測(cè)試時(shí)可以找出已死的單元但物理器件的可靠性是隨時(shí)間變化的。一顆顆??赡茉诔鰪S時(shí)所有單元都是好的運(yùn)行半年后因?yàn)槟硞€(gè)defect慢慢電遷移、氧化物擊穿開(kāi)始出現(xiàn)單bit翻轉(zhuǎn)。ECC存在的目的就是應(yīng)對(duì)這種后天變壞把這位翻轉(zhuǎn)在業(yè)務(wù)無(wú)感的情況下糾正掉。反過(guò)來(lái)如果一個(gè)壞單元恰恰在MBIST測(cè)試時(shí)表現(xiàn)為可以讀寫但在某種特定的鄰近單元數(shù)據(jù)組合下才失效ECC可以兜住這種邊界錯(cuò)誤但長(zhǎng)期可靠性仍有風(fēng)險(xiǎn)。所以在成熟的SoC驗(yàn)證策略里MBIST和ECC不是替代關(guān)系而是互為補(bǔ)充——MBIST負(fù)責(zé)篩選出固定的物理缺陷ECC負(fù)責(zé)在生命周期內(nèi)吸收隨機(jī)錯(cuò)誤。驗(yàn)證工程師面臨的問(wèn)題則是如何讓這兩套機(jī)制在同一塊芯片上協(xié)同工作而不互相干擾。4.2 MBIST寫PatternECC在旁邊搗亂這是芯片驗(yàn)證里最容易翻車的一個(gè)環(huán)節(jié)。MBIST引擎為了測(cè)出存儲(chǔ)陣列的故障會(huì)用特定的算法March C-、GALPAT、Checkerboard等向目標(biāo)地址寫入特定的數(shù)據(jù)pattern再讀回比對(duì)。但如果存儲(chǔ)控制器的數(shù)據(jù)通路上有ECC編碼器問(wèn)題就來(lái)了MBIST寫入pattern的地址數(shù)據(jù)會(huì)先經(jīng)過(guò)ECC編碼器自動(dòng)生成校驗(yàn)位然后完整地一起寫入存儲(chǔ)體。這看起來(lái)沒(méi)有問(wèn)題真正的問(wèn)題在于某些故障模型需要直接對(duì)存儲(chǔ)陣列內(nèi)的原始數(shù)據(jù)做操作或者需要注入故障來(lái)驗(yàn)證ECC邏輯本身——MBIST的pattern經(jīng)編碼器扭曲后測(cè)試人員無(wú)法精確控制存儲(chǔ)體里存儲(chǔ)的位模式。舉一個(gè)實(shí)際場(chǎng)景version 1的MBIST控制器在設(shè)計(jì)時(shí)直接復(fù)用了內(nèi)存ECC的寫通道路徑。跑March C-測(cè)試時(shí)MBIST生成數(shù)據(jù)0x00000000_00000000經(jīng)ECC編碼后實(shí)際寫入存儲(chǔ)體的是72位的碼字64個(gè)數(shù)據(jù)位全08個(gè)校驗(yàn)位全0。接下來(lái)MBIST寫0xFFFFFFFF_FFFFFFFF實(shí)際寫入的碼字里有一部分校驗(yàn)位不是全1。由于MBIST希望驗(yàn)證的正是寫0讀0、寫1讀1的物理單元行為而ECC編碼后的數(shù)據(jù)對(duì)這種期望值做了二次變換一旦ECC邏輯本身有bug比如校驗(yàn)位計(jì)算錯(cuò)誤測(cè)試結(jié)果會(huì)直接判Fail但這個(gè)Fail是來(lái)自存儲(chǔ)單元還是來(lái)自ECC邏輯很難從結(jié)果里分離出來(lái)。正確的做法是在MBIST模式下通過(guò)一個(gè)獨(dú)有的旁路信號(hào)把ECC編碼器從數(shù)據(jù)通路上隔離出去。MBIST直接向存儲(chǔ)陣列寫入原始pattern不經(jīng)過(guò)任何編解碼。ECC邏輯在MBIST模式下就必須處于完全靜默的狀態(tài)。這個(gè)旁路信號(hào)需要和業(yè)務(wù)模式的開(kāi)關(guān)互鎖防止跑到一半被誤觸發(fā)。你要是問(wèn)為什么很多設(shè)計(jì)死都死在這里答案往往就是這個(gè)旁路的互鎖邏輯沒(méi)有做干凈。4.3 ECC錯(cuò)誤注入驗(yàn)證ECC邏輯的關(guān)鍵場(chǎng)景驗(yàn)證ECC邏輯本身只在MBIST中測(cè)試正常讀寫是不夠的因?yàn)镋CC的糾錯(cuò)和檢錯(cuò)路徑只有在真實(shí)發(fā)生位翻轉(zhuǎn)時(shí)才會(huì)被觸發(fā)。而芯片內(nèi)部并不會(huì)平白無(wú)故產(chǎn)生位翻轉(zhuǎn)所以驗(yàn)證階段要人為注入錯(cuò)誤。業(yè)界通用做法是在MBIST控制器或ECC引擎內(nèi)部加一套錯(cuò)誤注入邏輯Error Injection, EI。通常提供幾種注入模式注入到寫入路徑在數(shù)據(jù)從總線進(jìn)入存儲(chǔ)體之前把某一位或多位進(jìn)行翻轉(zhuǎn)。這樣存儲(chǔ)體里存的數(shù)據(jù)本身就是錯(cuò)的讀取時(shí)會(huì)觸發(fā)ECC的糾正流程。這種注入方式最貼近真實(shí)的位翻轉(zhuǎn)場(chǎng)景。注入到讀取路徑數(shù)據(jù)從存儲(chǔ)體讀出之后、進(jìn)入ECC解碼器之前做翻轉(zhuǎn)。這種方式模擬的是讀路徑數(shù)據(jù)總線上的信號(hào)完整性問(wèn)題而不是存儲(chǔ)單元的故障。注入到地址總線把讀或?qū)懖僮鞯哪繕?biāo)地址指到另一個(gè)位置用于驗(yàn)證地址譯碼器和ECC邏輯的交互這種場(chǎng)景比較少見(jiàn)但對(duì)排查數(shù)據(jù)寫不進(jìn)正確地址的bug非常有效。無(wú)論哪種注入最關(guān)鍵的一點(diǎn)是注入窗口的控制。必須精確定義從哪個(gè)cycle開(kāi)始注入、持續(xù)多少cycle、在哪個(gè)bank/row/column位生效。如果注入窗口不精確錯(cuò)誤可能落在ECC解碼器無(wú)感區(qū)比如剛剛寫完、數(shù)據(jù)還在緩沖里導(dǎo)致測(cè)試結(jié)果不穩(wěn)定。我見(jiàn)過(guò)不少驗(yàn)證團(tuán)隊(duì)在最初跑ECC error injection的時(shí)候前后跑了十幾個(gè)小時(shí)每次注入的結(jié)果都不一樣最終發(fā)現(xiàn)是注入使能信號(hào)沒(méi)有和存儲(chǔ)器的寫完成響應(yīng)做同步導(dǎo)致有時(shí)錯(cuò)誤數(shù)據(jù)沒(méi)進(jìn)存儲(chǔ)體就結(jié)束了。4.4 MBIST與ECC狀態(tài)清理的連鎖反應(yīng)MBIST測(cè)試結(jié)束之后存儲(chǔ)體里殘留了大量測(cè)試pattern其中包括一些經(jīng)過(guò)錯(cuò)誤注入的、不可糾正的碼字。如果此時(shí)直接退出MBIST模式把系統(tǒng)切到業(yè)務(wù)模式并讓ECC引擎接管存儲(chǔ)器的訪問(wèn)會(huì)發(fā)生什么答案很刺激ECC引擎在首次訪問(wèn)到某個(gè)殘留的錯(cuò)誤碼字時(shí)會(huì)立即上報(bào)一個(gè)UE。如果這個(gè)UE的控制邏輯沒(méi)有做好與系統(tǒng)上電流程的握手可能直接觸發(fā)MCE或系統(tǒng)啟動(dòng)自檢失敗。所以在真機(jī)驗(yàn)證階段MBIST模式下跑完所有故障注入用例之后必須有一個(gè)專門的存儲(chǔ)體清理序列要么重新寫一遍所有地址的已知數(shù)據(jù)要么直接對(duì)相關(guān)內(nèi)存段做一次性ECC重計(jì)算和重寫。同時(shí)還要將ECC狀態(tài)寄存器里的CE/UE計(jì)數(shù)清零防止殘留的歷史錯(cuò)誤干擾后續(xù)正式業(yè)務(wù)的數(shù)據(jù)記錄。這是一個(gè)很容易被測(cè)試用例規(guī)劃遺漏的細(xì)節(jié)。很多工程師在RTL仿真階段看不到這個(gè)問(wèn)題因?yàn)榉抡姝h(huán)境通常不會(huì)模擬MBIST和ECC同時(shí)上電的場(chǎng)景只有到了系統(tǒng)級(jí)驗(yàn)證或回片測(cè)試階段這個(gè)問(wèn)題才會(huì)以各種詭異的啟動(dòng)失敗形式冒出來(lái)。5. 常見(jiàn)問(wèn)題速查從日志到硬件的排障手冊(cè)把這些年遇到的典型問(wèn)題整理成一張速查表希望能幫你少走點(diǎn)彎路?,F(xiàn)象可能原因優(yōu)先排查動(dòng)作dmesg看到Uncorrected ECC Detected系統(tǒng)沒(méi)掛UE落在未使用的物理頁(yè)或被固件屏蔽記錄物理地址觀察計(jì)數(shù)是否持續(xù)安排內(nèi)存替換ras-mc-ctl --errors記錄的地址一直不變固件對(duì)壞頁(yè)做了屏蔽每次訪問(wèn)同一地址重復(fù)報(bào)錯(cuò)確認(rèn)是不是同一DIMM同一rank換件即可/sys里的ue_count和rasdaemon顯示不一致兩套工具統(tǒng)計(jì)口徑不同或EDAC驅(qū)動(dòng)未完全加載以帶外管理日志為準(zhǔn)同時(shí)檢查edac模塊是否加載MEMTEST86報(bào)錯(cuò)但系統(tǒng)日志無(wú)ECC記錄BIOS中ECC開(kāi)關(guān)未開(kāi)啟或內(nèi)存運(yùn)行在非ECC模式進(jìn)BIOS確認(rèn)Memory ECC選項(xiàng)為Enabled重啟后重新測(cè)試DIMM Status顯示OK但ce_count持續(xù)增長(zhǎng)單bit可糾正錯(cuò)誤持續(xù)出現(xiàn)單元存在潛在故障重視CE增長(zhǎng)趨勢(shì)盡早安排替換避免演進(jìn)為UE更換內(nèi)存條后ue_count仍然存在日志順序未徹底清理或報(bào)錯(cuò)來(lái)自另一根內(nèi)存清理日志和BMC計(jì)數(shù)后重新加壓測(cè)試觀察是否新增MBIST失敗但實(shí)際存儲(chǔ)單元完好ECC編碼器在MBIST模式下未旁路pattern被改寫確認(rèn)MBIST旁路信號(hào)是否有效在驗(yàn)證平臺(tái)中打印校檢修標(biāo)志MBIST錯(cuò)誤注入結(jié)果不穩(wěn)定注入窗口與讀寫時(shí)序未對(duì)齊檢查注入使能信號(hào)是否與有效數(shù)據(jù)同步縮小注入窗口5.1 關(guān)于CE增長(zhǎng)但UE為0要不要?jiǎng)雍芏噙\(yùn)維在ce_count不斷增長(zhǎng)的情況下因?yàn)閡e_count還是0就判定內(nèi)存沒(méi)問(wèn)題。這其實(shí)是個(gè)危險(xiǎn)的誤解。CECorrectable Error說(shuō)明發(fā)生了什么說(shuō)明ECC引擎確實(shí)糾錯(cuò)成功了——它糾正了不代表此后的每次讀都對(duì)。當(dāng)一個(gè)存儲(chǔ)單元開(kāi)始頻繁出現(xiàn)CE時(shí)它的故障率正在指數(shù)上升之后那一次UE出現(xiàn)往往就是壓垮駱駝的最后一根稻草。我個(gè)人的經(jīng)驗(yàn)法則是如果一塊DIMM的ce_count在兩周內(nèi)持續(xù)增長(zhǎng)超過(guò)一個(gè)量級(jí)即使沒(méi)有UE也應(yīng)該進(jìn)入更換流程并優(yōu)先考慮把這塊DIMM上的業(yè)務(wù)負(fù)載遷移走。很多廠商的RAS策略里也會(huì)把同一DIMM的CE到達(dá)閾值設(shè)為主動(dòng)預(yù)警條件。5.2 關(guān)于內(nèi)存條混插ECC內(nèi)存對(duì)顆粒一致性要求比普通人以為的更高。不同廠商、不同批次、甚至同一廠商不同周期的顆粒在時(shí)序培訓(xùn)時(shí)的表現(xiàn)會(huì)有細(xì)微差異?;觳蹇赡軐?dǎo)致內(nèi)存控制器只能按最差的時(shí)序參數(shù)運(yùn)行表面上看兼容性沒(méi)毛病但在長(zhǎng)時(shí)間高負(fù)載下讀寫裕量大幅下降CE/UE數(shù)量會(huì)明顯上升。盡量保持同一個(gè)DIMM槽位組內(nèi)的顆粒規(guī)格一致至少保證同一個(gè)Channel下的DIMM來(lái)自同一批次。你沒(méi)看錯(cuò)不是只要同容量同頻率就行連緩存行都細(xì)到顆粒級(jí)別的匹配才能讓時(shí)序訓(xùn)練結(jié)果更優(yōu)。5.3 服務(wù)端替換內(nèi)存后必做的三個(gè)核對(duì)核對(duì)槽位映射替換前拍照、畫圖記錄好哪根DIMM對(duì)應(yīng)哪個(gè)Channel/Rank。若插錯(cuò)槽位可能觸發(fā)內(nèi)存鏡像模式的寫入數(shù)據(jù)不一致問(wèn)題。核對(duì)BIOS內(nèi)存配置確認(rèn)ECC Mode、Mirror Mode、NUMA相關(guān)開(kāi)關(guān)與替換前一致否則性能可能莫名掉一截。核對(duì)日志時(shí)間軸新的物理內(nèi)存安裝好后記得清理BMC和rasdaemon的歷史日志避免舊的UE計(jì)數(shù)與新事件混淆。6. 一點(diǎn)額外的體會(huì)說(shuō)回開(kāi)頭那個(gè)顯示2。在處理完那臺(tái)機(jī)器、換掉壞DIMM之后我特意把整個(gè)排查過(guò)程整理成了一套標(biāo)準(zhǔn)腳本包含自動(dòng)抓取rasdaemon錯(cuò)誤摘要、定位錯(cuò)誤物理地址和DIMM槽位以及替換后自動(dòng)清零統(tǒng)計(jì)的步驟。后來(lái)團(tuán)隊(duì)每次處理類似告警都按照這套腳本來(lái)走最直接的影響是沒(méi)人再因?yàn)轱@示2這種數(shù)字而慌亂拔內(nèi)存了。ECC這個(gè)領(lǐng)域給我的感覺(jué)是它表面上是內(nèi)存控制器里的一段邏輯實(shí)際上牽扯到物理失效、體系結(jié)構(gòu)、固件策略和芯片驗(yàn)證四個(gè)維度。任何一個(gè)維度沒(méi)打通遇到問(wèn)題時(shí)都會(huì)感覺(jué)像隔著一層霧。如果你也正在被某個(gè)數(shù)字2困擾先把日志和物理地址對(duì)上再做任何硬件動(dòng)作這是我能給出的最實(shí)在的建議。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
97爱爱| 夜夜高潮夜夜爽高清视频一| 成人网欧美风情| 欧美日韩小说| 99e久久国产精品| 黑丝少妇| 亚洲黄色| 激情五月天婷婷| 98福利在线视频| 日本操逼aaaaa| 激情五月天网站| 成人一级二级| 精品一区二区成人| 黄呦呦在线| 老司机福利青青草| 亚洲国产一级中文综合久久天堂在线免费观看 | 婷婷久久综合| 四虎884| 欧美的性爱网站免费| 999久久久九| 亚洲天天自拍| 在线看免费无码AV天堂的| 欧美另类自拍| 亚洲97超碰| 国产成人精品日本亚洲语言| 欧美色图97| 无码人妻精品一区二区三区99不卡| 男人的天堂啪啪| 久久久久久九九九九九九| www.av在线视频| 91艹逼精品| 午夜男女爽爽大片免费观看| 亚 欧 美 综合| 中国和日本人色哪个不下载能放| 天天爱天天韩国日本牛牛牛牛| 99超碰网| 淮穴色AV| 一区AV| 欧美72网页| 国产精品女aA片爽爽视频| 久悠悠av| 老外又粗又长一晚做五次| 九九英色视频| 日韩图区 偷拍| 国产中文字幕在线观看| 久久一级无码精品毛片6| 大屁股熟女一区二区三区| 久草国产在线视频| 国产精品对白自产拍| 蜜乳AV色欲AVAV无码| 人妻五十路在线| 视频分类 国内精品| 亚洲精品久久久久久久蜜桃臀| 一区二区视频你懂的| 中国乱伦一区二区| 国产夫妻性生活视频| 人人色人人操在线| 97视频在线观看免费高清| 亚洲色综合| 青草精品视频日本久久久久网站在线| 日韩中文字幕熟妇人妻| 自怕偷自怕亚洲精品| 亚洲熟女乱色一区二区三区久久久| 欧美精品一区二区少妇免费A片| 另类亚洲一区二区三区| 十八岁啪啪视频免费看| 日本免费一区二区不卡| 丁香六月综合激情| 激情欧美日韩女同久久| 人妻aa| 精品一二三区久久AAA片| 天天综合网网欲色| 91在线限制级| 色五月综合| 一区二区三区蜜桃成人撸久久东京热 | 天天干天天拍| 99亚洲国产精品色一区二区三区| SUV一区二区在线看| 一个人免费HD91视频| 亚洲丝袜少妇在线| 欧美在线伊人色| 亚洲av综合色区无码一| 国产精品乱码久久| 国产欧美日产一区二区三区 - 国产欧美日| 九九成人视频| 日韩国产乱子伦App| 国产白丝AV| 欧美999999| 96AV精品| 久久五月综合| 激情小说成人日本无码一| 国产精品农村妇女| 日韩资源网| 天天干,天天日| 欧美呦呦性爱| 中文乱码字幕观看| 欲香欲色综合天天伊人| 亚洲欧洲第二视频在线观看色图| 国产四虎在线| 亚洲成?V人片在线观看福利| 无码高清操逼网址| 伊人9| 艳尻美人妻| 999国产精品999| 97干色| 超碰在线在公开超碰在线在公开| 国产亚洲精品美女| 粉嫩少妇自慰在线| 亚洲国产精品乱码在线观看| 久久久神马影院| 欧美躁死她一区二区| 91露脸熟女专区| 99热伊人| 国产强奸乱伦第1页| 久久久久人| 人人妻人人色| 亚洲中文字幕熟女少妇一区二区| 久久丝袜| 久久国产99精品72福利 | 亚洲清纯唯美| 午夜欧美J进J出白浆流出久久久| 最新日韩黄片| 不卡一区二区日本视频| 成人八戒网站| 久久综合资源一区二区| 人人妻人射| 久久男人精品| 亚洲免费成人在线高清无码视频 | 欧美综合加勒比在线| 91热爆在线| 淫荡熟女乱伦网| 人人看人人插| 国产成人无码啪| 欧美一二三级精品在线| 免费又黄又裸乳的视频| 欧美激情另类一区二区| 天天懆天天日| 天天色综亚洲91污| 99久久综合| 26uuu欧美| 激情av| 91久久99久久91熟女精品| 影音先锋乱| 特级特黄一级毛片免费| 奇米四色影视777久久久| 青青青国产手线观看视频2| 超碰在线人人射| 日韩一级二级三级免费看完整版| 日韩啪啪视频| 国产精品日本无码A片| 青娱乐福利99| 操逼大黄片| 欧美强奸乱| 91强热人妻| 中国一区二区亚洲人妻| 91chinese在线| 九色97| 国产精品对白内射| 天天综合日韩网| 午夜男人天堂| 中国黑人三级片网站上区| 欧美精品丝袜久久久中文字幕| 久久精品72| 99色骚| 天天综合站| 欧美九九九| 超碰免费人妻在线| 不卡啪啪视频| 亚洲国产精品久久久久婷婷青年| 日韩伦理久 久久 清纯| 欧美猛交黑寡妇中文字幕| 天天干夜夜操网| 色五月激情网| 区一在线观看| 综合大香蕉美。| 九九精品网| 精品久| 人人贴人人摸| 亚洲激情综合| 磁力99AV| 99rre在线精品99re8| 999999精品| 免费av在线播放二区| 上海一级黄片| 亚洲欧美校园另类春色| 丝袜翘臀后入欧美校园亚洲自拍另类小说一区中文字幕少妇诱惑 | 韩国女主播青草福利视频| 黄色二级片网站| 亚洲精品一卡二卡三卡福利视频网站 | 日本特黄f c2| 久久6热精品99视频| 欧美姓爱综合网| 国内伊人久久久久久网站视频| 翔田千里无码中出中文字幕| AV大香蕉| www.男人天堂| 激情小说亚洲| 丰满人妻av一区二区三区| 江都AV在线| 黄色片G G G| 色妺妺AⅤ| 午夜电影在线观看无码专区| 国产美女精品| 久久久久久久97| 日韩一级成人毛片免费观看 | 我想要 啊 啊 啊| 国产AV久久野战精品| 91oumei| 九九九九免费高| 久久神马| 玖玖色综合| 91精品国久久久久久无码| 精品久9| 强奸乱伦资源| 国产小炒后入式| 性色A∨91| 爽 好舒服 无码刺激久久| 精品国产91久久久久久一区黄无| 丁香九月婷婷| 五月丁香婷婷综合| 99久久免费看精品国产一区| 在线观看高清AV| 青青青国产| 天天久久久久久| 国产精品久久久久亚洲av| 久视频在线观看| 99rre在线精品99re8| 久久久久久久久久久免费精品| 中文字幕在线播放2中文字幕在线观看2| 亚洲欧美日韩中文久久自慰| 国产成年免费大片黄在线观看| 在线天堂999| 亚州综合色| 久久9视频| 偷拍综合亚洲| 人妻系列无码专区中文有码| 劲爆欧美人妖三区91| 在线A日本| 97资源欧美| 欧美福利视频啊啊啊啊| 色诱avtt| 中文字幕,人妻,日韩| 国产精品天美传媒| 国产狂喷潮在线精品| 日韩美一区| 天久久久噜噜噜久久国产精品爽爽 | 中文字幕av久久爽Av| 久草加勒比一区在线| 人妻少妇精品一区二区三区| 精品久久久久综合无码| 97精品国产97久久久久久免费| 91热| 玖玖蜜臀资源网| 亚洲国产成人7777| 天天综合影院91| 日韩精品-原创伙伴| 婷婷久久综合| 欧美综合中文| AV天堂丝袜| 久久久久9999| 欧美一区二区传媒| 九九干| 亚洲综合伊人| 亚洲中文字幕av| 大香蕉草草| 男人的天堂啪啪| 久久狠狠色噜噜狠狠狠狠97| 91精品丝袜久久久久久无码人妻| 波多野结衣先锋影音| 十八禁一区二区无码观看| 人人摸人人干人人拍97| 欧美日韩小说| 欧美页片| 密乳AV免费观看| 欧美体内射精| 97国产色综合| 欧美国产精品| 日韩天天综合| 日本精品88888888| 性色av蜜臀av色欲aV| 亚洲偷拍欧美激情| 天天操夜夜操| 中文字幕一区二区三区四区在线视频| 国产久久久久影院老熟女| 手机看片1024你懂的国产| 国产熟女无套内射| Aa东京男人的天堂| 色爱综合网欧美| 亚洲最新a在线观看| 日本顶级天天操狠狠操夜夜操中文字幕| 亚洲最大的综合性av| 亚洲玖玖爱| 精品人人| 亚洲一区中文字幕一区| 国产精品精品系列在线观看| 亚洲色图欧美色图制服诱惑| 婷婷性爱| 亚洲91在线播放影院| 亚91网| 抽查国产福利主播| 国模精品一区二区三区苹果色戒| 亚洲伊人久久综合97| 黄色av播放免不| 91亚洲精品青草| 色官网色综合| a'v在线资源| 亚洲第一男人天堂| 国产女人9999| 久久綜合很很很| 九九色色| 午夜久久无码1000合集| 熟女乱3伦999| 花花AV导航| 青青欧美| 97 超碰 人人做 人人爱| 久久美女福利是上海美女| 亚洲国产一级黄色视频| 91在线观看,天天综合| 欧美日韩婷婷中文| 第四色亚洲色图| 日本久久网| 欧美一级美片在线观看免费| 亚洲熟女综合网| 在线 欧美 亚洲| 96AV久久久| 首页亚洲国产高跟丝袜诱惑视频 | 美女黑人91神马| 久久人人妻| 天堂8在线新版官网| av爱爱爱| 青娱乐休闲视频在线观看| 麻豆色约约| 久久99999| 操操啪| 夜夜影视四色| 欧美综合国产精品久久丁香| 夜夜骑夜夜操| 久久久久久久久999| 日本免费二区三区| 88在线一区二区三区| 99热 按摩 日韩| 天天天肏屄欧美| 亚洲性综合9| 免费观看欧美日韩操逼视频| 五月丁香激情综合| 色9999日韩国产| 欧日a| 操逼1区| 亚洲中文一区二区三区| 波多野结衣AV无码一区| 12一15性XXXX粉嫩国产| 清纯唯美亚洲| 99久久无码| 蜜臀一区二区三区在线| 偷拍精品一区二区三区| 久久一二三四| 成人影院永久免费观看网址| 亚洲黄色视频在线观看视频| 日韩亚洲Av人人夜夜澡人人爽| 神马久久啊啊| 伊人久久大香蕉线AV五月天| 午夜男女爽爽大片免费观看| 国产视频小说| 丁香色五月 97干| 97超碰美女| 亚洲人在线| 国产一区二区a毛片| 伦理日韩国产久久| 色色亚洲| 午夜福利1区2区3区| 天天插天天操天天摸天天射天天看| 插欧洲美女欧美精品| 韩国三级色呦呦| 欧美成人综合| 色优久久| 欧美中文字幕日韩在线| 激情四射婷婷六月天| 五月婷婷综合在线| A级片日韩欧美国产欧美视频精选观看| 金典av| 99热最新网址| 久久黄片国产一区二区| 香蕉国产97| 英伦大奶子熟妇吊带| 日韩强奸av| 日韩中文9| 91 刺激在线| 色操逼网| 色爱天堂| 久久久穴999| 人人扣人人操| 国产精品爱欲| 大香蕉2017| 观看免费区二区三区二| 亚洲福利中文字幕在线| 日B操| 久久久免费视频18| 东京成人一区| 国产 日韩 欧美 人妻 熟女 中文| 欧美一级黄色免费专区| 色香伊人| 日韩一999精品| 人人操人人大香蕉| 日韩强奸av| 97久久久久久久久久| 欧美狠狠弄| 色色色99| 丰满岳乱妇一区二区三区| 日夜尻逼网| 天美一二三在线观看Av| 婷婷五月在线视频| 69精品久久久久中文字幕| 亚洲伊人成综合成人网| 成人情色综合网| 一区中文字幕二区日韩| 亚洲欧洲另类| 丁香六月东京热| 欧美福利视频啊啊啊啊| 啊啊啊啊好爽好舒服一区二区易域| 精品九九九九九九九九九| 久久久久骚| 日韩一性一交一A片俄罗斯| 2017大香蕉| 亚洲有薄码区久久在线一区| 亚洲欧美一区二区不卡视频播放| 视频在线观看一二三区| 欧美一级色| 国产区91柔拿会所技师| AⅤ片水多多| 久操免费观看| 亚洲,欧美,春色,另类| 91社区拍啪人妻| 日韩无码视频黄色| 最新亚洲黄色免费电影 | 91黑丝美女| 涩五月婷婷| 人妻精品视频一区二区| 思思热在线cao| 亚洲97成人在线观看| 中文字幕熟女人妻丝袜| 日韩91网| 久久久无码精品人妻二区 | 国产色精品午夜大片| 午夜福利1区2区3区| 九热中文字幕| 97av在线观看| 亚洲 欧美 第一页| 91大香蕉伊人| 国产av色网| 夜夜青青无码影院| 欧美最大综合网| 亚洲和欧美裸体美女双飞视频| 婷婷情色综合网| 蜜桃久久综合视频| 蜜臀av在线播放一区二区三区| 色五月婷婷中文字幕| 日韩不卡毛片Av免费高清| 国产无码精品成人| 成人av在线播放| 桃花色综合影院| 青女在线| 加勒比海成人视频网| 欧美专利1区2区3区4区5区免费| 五月天婷婷激情| 天天综合色| 国产精品交换一区二区| 天天欧美色| 欧洲综合视频| 夜夜高潮夜夜爽高清视频一 | 精品国产91av一区二区三区 | 国产动漫操逼视频| 99ri视频| 色妹子A V| 九久久九精品视频| 日本 免费 一区二区三区 久久香蕉| 一区久久久二区| 影音综合网| 国产丝袜视频| 久久,精品一二三| 九九热九九热| 99xav| 久久综合久色欧美综合狠狠| 色综九九九一区| 久久黄黄黄| 欧美自拍网| 日少妇视频| av网站国产主播在线| 日韩av电影成人在线| 欧美性爱无码一区二区三区| 强奸乱伦资源| 天天日天天爽| 久久综合日韩亚洲欧美| 99在线无码精品秘 入口黑人| 乱伦一区二区三区‘| 一区三区啪啪| 欧美淫穴| 98精品国产乱码久久久久久| 亚洲97网站| 大香蕉狠狠爱| 成人小说视频在线精品欧美| 国产三区免费在线观看| 99精彩视频| 91精品人妻一区二区三区蜜桃臀| 一本一道久久综合久久| 91精品久久久久久综合五月天| 婷婷伊人| 操b网站亚洲无码| 亚洲熟妇白浆无码AV| 欧美色性情| 成人一道本免费视频| 日本一区二区三区四区免费观看| 九九九九九九视频免费| 无码区蜜乳| 亚洲精品人妻吞精av | 欧美日韩情色一区二区| 欧美乱色| 超碰久久综合| 伊人欧美大香蕉视频| 人妻性爱一区二区| 亚洲精品人妻在线| 国内91熟女人妻丝袜天天精品视频在线| 欧美一二在线| 夜夜夜夜久久久久| 成全在线观看免费观看| 中文激情网| 日韩中文字幕2020| 97超碰色色| 日本丝袜人妻内射| 97欧美超碰| 污污汅18禁网站在线永久免费观看 | 精品无码一区二区| 婷婷15月天青娱乐| 亚洲图片欧美| 欧美成人性爱视频大全| 97天天综合网| 精品九九九九九九| 人人操人人大香蕉| 91欧美美女日韩国产婷婷| 欧美另类丝袜熟女| 人妻一区视频| 91色图片| 91成人18| 综合婷婷| 91劲爆| 国产在线能看的你懂的| aⅴ日韩成人电影av在线免费看av大全 | 国产成人精品一区| 人人干黄色| 日本在线一二| 日日97| 先锋色眉乱伦资源| 天天看精品动漫视频一区| 中字乱伦AV| 亚洲图片 激情小说| 日韩性爱一级片| 五月丁香婷婷色| 无码人妻丰满熟妇区毛片| 99e久久国产精品| 久久国产三区| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 色欲人妻一区二区在线| 欧美99999| 婷婷九月色| 欧美日日人人天天| 青青久久手机线视频| 春色校园综合网| 蜜臀久久99精品久久久久久酒店| 黄片在线免费在线观看| 日本熟妇色熟妇在线视频播放| 日韩欧美操逼xxx| 欧亚乱色熟一区二区三四区| 午夜爽爽爽| 人妻中文在线| 午夜综合在线| 免费伦费视频在线观看| 大香蕉欧美国产日韩高潮| 强上我不卡卡| 探花精品 一区二区| 亚洲宅男天堂| 啊啊嗯嗯好爽| 亚洲欧洲小说图片视频| 夜夜骑夜夜操| 亚洲综合五月天| 91狠狠综合久久| 激情综合五月婷婷| 欧美翘臀视频网站一区二区三区| 啪啪一区| 三及片网站| 丁香六月婷| 久久99久久99精品天美传媒棢·纸:. | 男人的天堂在线2| 亚洲婷婷丁香在线| 人妻一区二区三区| AV一起草在线| 欧美亚洲AN| 很黄很色的视频在线观看| 青青草在线视频人人想人人上| 国产精品高潮久久久无码| 国产性感骚丝袜在线| 国产成人亚洲精品无码最新在线| 日日橹狠狠爱欧美超碰| xxxx网站亚洲精品| 久操| 久久综合婷婷| 国产精品久久久久9999小说| 精品国产Av无码久久久伦古装| 熟妇熟女亚洲天堂网| 大学生美女口爆| 久久熟妇五十路一区| 一级@啪啪视频| 亚洲第91页| 色伊人91| 成人三级片一区二区三区视频| 懂色AV一区二区三区| 精品国模无码| 超碰久久网| 久久一区二区三区入口| 一区二区三区男女操逼黄色小电影| 91激情国产| 国产不卡免费在线视频| 在线啊啊啊| 人人乐大香蕉| 少妇一区二区三区高速| 99久在线精品99re8| 99热综合| 国产AAAAAABBBBB| 国产99999久久精品| 狠狠综合| 色y情视频免费看| 97操综合| 91男女啊啊啊| av在线不卡一区二区三区| chaopen97久久| 玖玖97综合| 国产精品久久久久久无码红治院| 欧美综合中文| 欧美色图天堂网m| 丝袜美腿制服人妻二区中文字幕| 九一亚洲国产免费| 国产理论视频在线播放| 精品高清牛人盗摄一区二区三区中文字幕A片免费在线观看 | 五月婷婷五月天| 一本色道无码DVD中文字幕| 超碰69| 亚洲色偷偷色噜噜狠狠99网| 亚洲一曲日韩精品| 欧美色九九| 青青操少妇| 综合色图区| 欧美成熟性爱精品| 综合五月天| 一牛一区二区三区久久| 九九碰九九爱97| 另类TS人妖一区二区三区| 丝袜美腿操av| 亚洲 欧美 另类 日韩 人妻一区| JIZZJIZZ国产精品喷水| 国产无码三级视频在线观看| 日韩中文字幕宗合在线| 网站A V在线| 久久成人东京热人妻| 天天香香欲综合| 黄色性爱网网| 内射老妇BBWX0C0CK| 久久久久久久久久久精| 日日AV加勒比| 97九色人妻| 一级性爱aaaa| 人人性爱视频免费| 色色九区| 天天综合网亚洲综合网| 97超碰天天| 小泽玛利亚一二三| 中文久久爆乳| 97在线免费观看视频| 欧美日韩美女精品久草一区二区三区 | 日韩欧美蜜桃精品久久中文字幕久久| 日韩伦理久 久久 清纯| 9l视频自拍9l九色成人| 嫩草一区二区在线观看| 在线观看一级α片刺激高潮视频| 国色综合天| 婷婷五月天色网| 亚洲三级网址久久最新| 五月天婷婷色色| 333kkkk·亚洲com久久| 8x福利精品第一福利视频导航| 久久超碰网| 超碰诱惑| 日韩人妻大香蕉| 人妻在线视频| 黄色片,com| CCYY草草影院地址入口| 水多多映视AV| 丝袜美腿av女优在线| 深喉吞精| 蜜臀中文无码午夜| 国产精品97超碰| 亚洲凸凹超碰成人| 久久久久亚洲一区女同性恋中文字幕| 日本一区二区电影网站| 久久精品国产精品亚洲艾通辽熟妇 | 久久天天艹| 日本性感人妻91| 加勒比五月天| 粉嫩AV一区夜夜嗨| 99热导航| 91成人在线| 青青草十区九区爱夜| 日本免费一区二| 伊人综合色网| 天天影视网综合少妇| 天天干天天拍| 五月天婷婷欧美三区| 免费在线观看AV无码网站| 国产精品蜜乳AV| 国产一级不卡在线观看| 中国zzijzzijzzwww精品| 国产在线激情视频| 1级午夜影院费免区| 国产黄色在线播放观看| 91AV天堂| 99热8| 亚洲高清在线se| 人妻少妇久久| 亚洲AV永久无码精品成人调教| 日本五区不卡| 色九九久九九| 成人性生活高清视频在线播放| 神马麻豆福利院| 999精品久久久久久久| 91bbb| 青娱乐999| 亚洲国产精品V?在线播放| 亚洲精品白浆高清久久久久久| 国产偷人伦激情在线观看| 粉嫩av平台| 亚洲一区二区三区不卡国产欧美| 100啪啪视频大全| 国产最新小视频在线播放下载| 人妻81p| 五月天婷精品激情| 色999亚洲人成色| 国产精品久久久亚洲一区| 2025亚洲男人天堂| 一区二区视频你懂的| 另类老少妇| 91亚洲情色| 欧美高清18A片| h4610国产人妻| 伊人五月天| 丝袜六区| 97色色,97综合| 欧美综合在线第一页| 97天天操| 男女一进一出视频久久| 手机午夜电影神马久久| 亚洲AV操| 亚洲本色精品一区二区久久| WWW操逼| 超碰97亚洲| 超碰无码加勒比| 亚洲免费人妻在| 性色一线| 91天堂视频| 久久久九九| 天天综合亚洲综合| 中文字幕一区二区三区高清| 岛国成人av在线播放网址| 78精品| 亚洲91在线| 伊人久久综合影院| 99热18| 亚洲AV不卡在线观看尤物| 尤物AV免费网站| 26uuu最新| 福利色色| 蜜桃中文字日产乱幕4区| 亚洲宗合网| 国产精品网址| 亚洲,日韩,欧美,成人播放| 久久九九网| 丰满少妇高潮无码| 精品人妻久久久久一区二区三区| 一级AV性爱| av资源在线播放天堂| 夜夜夜夜夜夜夜夜夜狠狠狠狠狠狠狠 | 欧美日韩一二三| 九色黄站| 婷婷激情五月天小说网| 久久久久骚| 亚洲男人天堂视频| 天天综合网网欲色| 又大又长又粗又爽又黄| 亚洲国产精品久久久久久久久久| 大香蕉天天看妹子| 大香蕉懂9| 日本操逼二区| 91人妻视频在线| 亚洲色婷婷综合久久一区二区三区| 99999精品| 人妻激情偷乱视三区频一区二区| 中美日韩毛片| 无人区高清电影免费观看一区二区三 www.qmcai2.com | 桑老女人九区| 精品无码久久久久久国产浪潮| 五月天激情婷婷| 天天综合麻豆视频| AV一起草在线| 色噜噜综合在线| 亚洲欧洲日产国产综合网| 久久久久久999| 无码丰满熟妇一区二区浪潮AV| 欧美少妇熟女| 亚洲综合色图欧美| 成人性爱美曰韩| 99re只有精品| 91夜色| 日本一级一级一级一级| 人妻素股| 精品国产丝袜一区二区三区乱码 | 亚州春色| 久久久97| 长长久久曰曰夜夜成人网| 福利一级版子| 亚洲综合九九| 亚洲日韩美女中文字幕乱| 一区麻豆 高清中文字幕| 人妻丝袜一区二区三区在线| 1769精品一区二区三区| 天天色怡春院| 精品无码秘 人妻一区二区| 人妻-91porn| 天美传媒av在线| 中文字幕一区二区三区高清| 精品美女在线视频| 青青草色插素人| 欧美高清18A片| 婷婷丁香六月天| 精品人妻视频一区二区在线播放 | 九九热视频这里只有精品| 欧洲自拍第一页| 天天天天天天天天天天干美女| 亚码人妻| 男女性感激情网站| 青青草乱入乱欲视频在线观看| 女人与公拘交酡2020视频| 乱日视频| 日韩性爱小视频| 99这里有精品视频| 亚洲欧美国产精品久久久久久久| 久久久久久精品免费看A级| 热热色色综合| 日本操逼视频导航| 九草九九九| 一级性爱aaaa| 亚洲精品熟妇1区2区3区。| 亚洲操人| 日韩图色| 欧美三级不卡| 亚洲无码视频免费在线观看网址!| 七久久久| 免费精品无码一级毛片牛牛影视| 无码色| 亚州综合网| 六六久久日韩不卡| 97干在线| 日日干夜夜操视频h| 天天色天天干天天爱| 亚洲一区二区专区-国产丝袜精品丝袜-成人AV| 看免费的黄片| 久久国语| 日韩一级二级三级| 开心激情婷婷| 少妇精品久久| 人妻一区二区三区| 岛国毛片在线观看免费| 91在线/欧洲| 亚洲Av无码成人精品国产| 老女人91| 亚洲图片欧美在线视频| 美女天天干| 嗯嗯嗯好爽| 日本爽爽爽爽爽爽免费视频| 欧美色日本| 噜噜噜在线视频| 久久久久久99999国产精品| 干婷婷综合网| 美女高潮国产高清| www.狠狠| 亚洲激情在线| 这里都是精品在线观看| 色av中文字| 蜜臀99久久精品| 亚洲老熟妇xxx| 51国产午夜精品视频| 欧美综合 站| 97综合在线| 国产又粗又大硬免费色网视频| 久久亚洲熟妇在线视频| www.av在线观看| 91w欧美| 亚熟hd视频在线| 色婷婷电影网| 五月天我淫我色av| 一区超碰一区| 婷婷五月天激情小说| 亚洲高清视频在线免费观看| 日韩精品人妻系列无码天堂| 丰满高潮18xxxx| 人妻精品一区二区| 媚薬在线视频麻豆| 91蜜桃婷婷狠狠久久综合9色| 亚洲一区中文精品| 97人人色| 色爱综合网| 日本幼女18+| 国产怡红院| 另类一区| 国产黄色视频久久| 久热精品在线| JuliaAnn丝袜熟女系列| 国产伦乱91| 亚洲狠狠入| 国产AV天美| 亚洲色图殴美色图激情乱伦| 97精品网| 日本97久久| 午夜福利区| 屌逼传媒| JIZZJIZZ国产精品喷水| 亚洲视频中文一区| 欧美爱国产综合、| 人妻一区久久二区三区色播| 综合第一页| 少妇99| 欧美亚洲第1页| 综合激情婷婷| 91在线超高颜值国产| 91白嫩| 操人妻逼91| 中文字幕高清20页视频| 唐山老熟妇露脸啪啪叫| 亚洲中文字幕精品一区| 欧洲视频在线| 免费97视频| 亚洲欧美综合色| 日日夜夜天天| 黄色高清无码无码破解免费暗网 | 黑丝日韩av丝袜av| 无码又爽又硬又激情免费视频| 日韩欧美成人性爱在线| 亚洲动态色图| 亚洲在钱| 91国产大片| 婷婷四五区| 国产久久久久久久久一区二区| 狠狠操官网| 熟女精品日韩一区二区三区| 国产91丝袜在线播放蜜月| 色盈盈影院| 婷婷午夜| 操逼操操操91| 国产精品久久久久亚洲av| 精品国模无码| 九九无码| 91在线国产后入风骚翘臀美女素人| 91无人区卡一卡二卡三乱码入口最新版:能让用户有更多选择的选择-经典说说-爱 | 天天天天干| 国产精品成人无码av| 成人八戒网站| 欧美精品99久久久**| 免费观看成人www精品视频| 久久天堂网| 青青草日韩免费观看高清在线| 操少妇很爽av| 婷婷综合| 欧美性爱精品一区二区| 日韩欧美亚洲一区二区三区影院| 艹精品| 91在线超高颜值国产| 久久精品国产亚洲AV高清演员表| 日韩无码人妻| 自拍六区| 久九九九九九九九热| 欧美亚洲韩国视频十五区| 天天综合麻豆视频| 大乔未久88一区| 9超碰免费| 97视频在线观看高清资源| 超碰性爱97| 99熟女| 一起草精品人妻| 免费黄色A片| 在线v中文字幕一区二区三区| 亚洲超碰AV| 久久肏大逼| 中文字幕性感少妇av| 狠狠色狠狠色狠狠五月| 干干干天天| 一区二区三区 日韩欧美| 亚洲成a人在线观看久| 中文字幕成人理论在线| 一起草日韩| 欧美色老汉| 91在线丝袜视频| 你草精品在线视频| 大香樵伊人网| 婷婷久草一区二区三区| 国产精品久久久无码aV去| 人人操人人摸人人骑| 色综合国产在线观看| 成人无遮挡毛片免费看| 99re视频这里只有精品| 日本一卡二区在线| 国产白丝AV| 一级一性爱免费视频| 女人与公拘交酡2020视频| 亚洲精品国产无码高清| 日韩成人精品视频自拍| 国产一级αv免费看片| 国产一区二区视频在线播放| 丰满岳乱妇一区二区三区| 园内精品自拍视频在线播放| 天天草夜夜草高潮片| 日本中文字幕不卡视频| 26uuu性| 97人人操人人摸人人爱| 五月色网| 97久久资源| 亚洲。日韩。欧美| 330Dv国产女人终合视频极品人与兽| 亚洲网污污污污| 久久久精品一区二区| 中文字幕乱妇免费视频| 一区二区乱码福利| 一级性爱啪啪视频| 3d成人精品一区二区| 黄片在线免费在线观看| 久久丁香五月婷婷| 久久发布国产伦子伦精品| 欧美情色贴图| 九九九只有精品| 97综合国产| 又大又长又粗又爽又黄| 呦呦影院| 国产精品亚洲一区二区三区四区| 久久久一级| 亚洲。日韩。欧美| 嗯嗯,好大,好爽,好骚| 蜜臀99久久精品| 亚洲男人天堂av| 亚洲一级性爱视频免费看| 大香蕉伊人久久| 日本曲间由美性生活片| 精品9区| 日韩在线电影| 亚洲啪AⅤ永久无码| 综合久久欧美| 熟妇视频一区二区三区在线观看| 日韩综合97P| 国产日本顶级一区二区三区| 久久国产在线一区二区| 天天看,天天做| 翘臀vidoes| 老司机免费视频在线91| 玖玖综合网| 国产成人亚洲精品无码古代早漏男| 日本Xx性爱| 中日无幕一二三四区| 囯产精品强| 67914在线兔费成人视频| 国产家庭乱伦表演| 久久99精品视频| 亚洲熟女综合| 夜夜高潮夜夜爽夜夜爱爱一区| 岛国片在线视频网站| 成人看片网站| 亚洲熟久久| 超碰在线人人射| 一区二区三区欧美激情| 九九玖玖精品| 欧洲亚洲人妻无码久久三区四区| 人人操人人爽人人操人人| 久久xxxx| 欧美一级专区免费大片| 综合久久少妇中文字幕| 狠狠色噜噜狠狠狠狠狠色综合久久 | 国产青青美女玩逼视频| 国产三级片在线观看| 女人双腿搬开让男人桶| 久久亚洲熟妇在线视频| 超碰吊日色| 国产成年免费大片黄在线观看| 97中文天堂| 78m啪啪啪| 亚洲二区精品在线观看| 殴洲老熟女| 亚洲无码偷拍| 亚洲日本成人动漫| 人妻色情天天操| 国产亚洲日韩在线三区黑人| 九九九久千久久激情蜜桃在线看 | 少妇九九九九| 乱论91| 男生女生啊啊啊啊| 极品色| 国产1769在线| 国产一区二区久久| 亚洲欧洲日本精品中文a∨| 五月色网| 日韩性爱啪啪视频| 最好看的中文字幕在线2018| 91丝袜美女| 久久久少妇| 午夜免费视频1000| 国产2.3.4区| 特级丰满少妇一级AAAA爱毛片 | 国产精品97超碰| 中文字幕一区二区日韩网| 色好看av| 五月丁香黄色网| 久操B网| 草草草草视频| 人妻天堂综合网| 阿姨一区二区免费视频-高清正片西瓜视频下载app-T450AV | 91综合无码| 久久性爱免费送| 少妇久久久免费| 97国产高清视频在线观看| 天堂资源站| 人妻一区二区三区视频| 97内射偷拍| 综合激情二| 97二区四区| 操碰97| 欧色综合| 日韩有码 一区二区三区| 97色论| 国产黄色在线播放观看| 久久亚洲天天做| 亚洲国产ⅴ高清在线观看| 日本有码久久| 一级乱伦网站| 欧美精品第四五页中文字幕在线观看| 高清国产精品福利网站| 亚洲性爱免费电影| 丁香五月天社区| 屁股久久久久久久久久| 好淫网一二三视区| 插入逼91| 人妻大相焦在线| 日韩性爱毛片操骚逼| 中文字幕免费观看| 伊人一级免费黄片| 亚洲熟女国产综合另类| 97色伦97色伦国产欧美| 麻豆一区二区三区精品| 亚洲AV无码AV吞精久久久久| 91美女国产在线|