日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

ECC不只是糾錯(cuò)碼:內(nèi)存、芯片測(cè)試與SAP年結(jié)中的三種技術(shù)

ECC不只是糾錯(cuò)碼:內(nèi)存、芯片測(cè)試與SAP年結(jié)中的三種技術(shù) 上周五下午我連續(xù)接了三通技術(shù)求助。第一通來(lái)自機(jī)房值班同事說(shuō)一臺(tái)數(shù)據(jù)庫(kù)服務(wù)器在系統(tǒng)日志里反復(fù)出現(xiàn)uncorr. ecc關(guān)鍵詞錯(cuò)誤計(jì)數(shù)顯示為 2。第二通是芯片驗(yàn)證組的說(shuō) MBIST 測(cè)試?yán)锏?ECC 覆蓋率卡在 92% 提不上去。第三通來(lái)自做 SAP 財(cái)務(wù)實(shí)施的顧問(wèn)問(wèn)我年底結(jié)賬時(shí) CO88 一直報(bào)錯(cuò)內(nèi)部訂單結(jié)不掉。三通電話、三個(gè)行業(yè)問(wèn)題里卻都有同一個(gè)縮寫(xiě)ECC。掛掉電話之后我就在想ECC 這三個(gè)字母在運(yùn)維、半導(dǎo)體、企業(yè)管理軟件三個(gè)圈子里代表的其實(shí)是完全不同的三套技術(shù)體系。很多人只熟悉其中一個(gè)遇到另外兩個(gè)就發(fā)懵。所以這篇文章我打算把三條線都拆開(kāi)講一遍把我實(shí)際處理過(guò)的流程和踩過(guò)的坑寫(xiě)出來(lái)給同樣被ECC困擾過(guò)的人一個(gè)參考。1. 機(jī)房里的ECC從uncorr. ecc報(bào)警到內(nèi)存條更換的完整鏈路1.1 糾錯(cuò)碼怎么工作64位數(shù)據(jù)為什么變成了72位ECC 的全稱是 Error Correcting Code糾錯(cuò)碼。要理解它先要理解一個(gè)更簡(jiǎn)單的概念奇偶校驗(yàn)。奇偶校驗(yàn)就是一個(gè)數(shù)據(jù)塊里數(shù) 1 的個(gè)數(shù)是奇數(shù)還是偶數(shù)用一位額外的 bit 記錄這個(gè)狀態(tài)讀數(shù)據(jù)時(shí)再數(shù)一次。有一位出錯(cuò)立刻能發(fā)現(xiàn)不對(duì)但只能發(fā)現(xiàn)不能定位所以沒(méi)法修。而且如果有兩位同時(shí)出錯(cuò)奇偶校驗(yàn)直接失靈它還以為數(shù)據(jù)是對(duì)的。漢明碼是 ECC 的基礎(chǔ)思路它把數(shù)據(jù)位按照一定規(guī)則放進(jìn)多個(gè)互相交疊的校驗(yàn)組里每個(gè)校驗(yàn)位管一組。數(shù)據(jù)出錯(cuò)時(shí)多個(gè)校驗(yàn)位會(huì)同時(shí)報(bào)警根據(jù)哪幾個(gè)校驗(yàn)位報(bào)錯(cuò)了這個(gè)組合反推就能知道是哪一位數(shù)據(jù)出了問(wèn)題。這就像幾個(gè)保安分別值守不同的區(qū)域某個(gè)區(qū)域出事的時(shí)候能看到該區(qū)域的保安同時(shí)報(bào)警于是就能定位到具體位置。具體到內(nèi)存條層面一條支持 ECC 的 DDR 通道數(shù)據(jù)總線是 64 位再加 8 位校驗(yàn)位總共 72 位。就是這多出來(lái)的 8 位讓內(nèi)存能夠在讀取時(shí)發(fā)現(xiàn)并修正 1 個(gè)比特位的錯(cuò)誤同時(shí)檢測(cè)出 2 個(gè)比特位的錯(cuò)誤。這就是常說(shuō)的SECDEDSingle Error Correct, Double Error Detect。消費(fèi)級(jí)電腦基本不配這個(gè)服務(wù)器和工作站基本都會(huì)配因?yàn)殚L(zhǎng)期運(yùn)行和數(shù)據(jù)完整性是剛需。但我得先提醒一句話ECC 不是備份。它防的是單比特翻轉(zhuǎn)這種小概率事件比如宇宙射線擊中內(nèi)存顆粒、供電噪聲干擾。一旦出現(xiàn)大面積顆粒損壞或線路虛焊ECC 也會(huì)力不從心這就引出后面的不可糾正錯(cuò)誤。1.2 uncorr. ecc 顯示2可糾正與不可糾正到底差在哪顯示2這種說(shuō)法其實(shí)來(lái)自服務(wù)器 BMC、系統(tǒng)日志或者 EDAC 工具里的錯(cuò)誤計(jì)數(shù)。在 Linux 上通常能看到兩類計(jì)數(shù)器CECorrected Error可糾正錯(cuò)誤和UEUncorrected Error不可糾正錯(cuò)誤。CE 出現(xiàn)時(shí)ECC 自己就把 1 位比特錯(cuò)誤糾正了業(yè)務(wù)層面無(wú)感知但計(jì)數(shù)會(huì)漲。UE 出現(xiàn)時(shí)說(shuō)明出現(xiàn)了 ECC 處理不了的錯(cuò)誤??赡苁?2 bit 同時(shí)翻轉(zhuǎn)也可能是某個(gè)內(nèi)存顆粒徹底壞了。這種情況下系統(tǒng)無(wú)法保證數(shù)據(jù)正確性嚴(yán)重時(shí)直接觸發(fā) MCEMachine Check Exception導(dǎo)致機(jī)器重啟甚至內(nèi)核 panic。有一次我處理過(guò)一臺(tái)運(yùn)行三年多的數(shù)據(jù)庫(kù)服務(wù)器日志里出現(xiàn) 1 次 UE當(dāng)時(shí)沒(méi)太在意想著先觀察。結(jié)果一個(gè)月不到同一根內(nèi)存條上的 UE 計(jì)數(shù)漲到了兩位數(shù)期間還發(fā)生了兩次數(shù)據(jù)庫(kù)進(jìn)程被異常殺掉的故障。所以我現(xiàn)在只要看到 UE 出現(xiàn)在日志里第一反應(yīng)就是安排維護(hù)窗口。只要有條件能關(guān)就關(guān)、能換就換千萬(wàn)不要賭它只是偶發(fā)。1.3 排查鏈路從MCE日志、EDAC計(jì)數(shù)到物理插槽定位排查一條完整鏈路Linux 下第一步看內(nèi)核日志dmesg | grep -i -E edac|mce|memory error也可以看 EDAC 的計(jì)數(shù)節(jié)點(diǎn)edac-util --status cat /sys/devices/system/edac/mc/mc0/ce_count cat /sys/devices/system/edac/mc/mc0/ue_count裝了 rasdaemon 的情況ras-mc-ctl --error-count ras-mc-ctl --summary看 MCE 記錄mcelog --client解析出來(lái)的信息里最關(guān)鍵的字段是 Memory Controller、Bank Group、Bank、Row、Column。有了這些地址信息再配合主板手冊(cè)的內(nèi)存插槽映射表才能判斷是哪個(gè) DIMM 槽位。不過(guò)說(shuō)實(shí)話物理定位很多時(shí)候沒(méi)那么精確。我的實(shí)踐經(jīng)驗(yàn)是先在 BIOS 里看 memory info同時(shí)用拔一半內(nèi)存跑內(nèi)存壓力測(cè)試的二分法快速縮小范圍。跑 MemTest86 或者 Linux 下的 memtester每個(gè)內(nèi)存槽輪流測(cè)。如果服務(wù)器支持熱插拔內(nèi)存就按檢查結(jié)果直接替換不支持就按維護(hù)窗口停機(jī)替換。分享一個(gè)真實(shí)案例之前有臺(tái) Dell R740 報(bào) UEdmesg 輸出指向 Channel 1 DIMM B 地址區(qū)域。我直接把 DIMM A 和 DIMM B 對(duì)調(diào)再跑一次內(nèi)存壓力測(cè)試報(bào)警位置跟著 DIMM 走了基本鎖定是某一根條子替換后問(wèn)題消失。這個(gè)對(duì)調(diào)法在插槽映射表格不夠清楚時(shí)特別好用能省下不少查手冊(cè)的時(shí)間。1.4 CE與UE的處理策略我的服務(wù)器運(yùn)維經(jīng)驗(yàn)CE 要不要立刻處理我的策略是偶爾一次 CE 可以記錄觀察但如果 CE 在一個(gè)小時(shí)內(nèi)連續(xù)出現(xiàn)多次說(shuō)明顆??赡芤呀?jīng)有物理退化趨勢(shì)。正常的 ECC 內(nèi)存CE 是很低頻的一年下來(lái)可能就是個(gè)位數(shù)。如果 CE 計(jì)數(shù)每個(gè)月都在明顯增長(zhǎng)就把它當(dāng) UE 的前兆處理提前備新內(nèi)存、提前約維護(hù)窗口。另一個(gè)容易被忽略的因素是溫度。內(nèi)存顆粒過(guò)熱會(huì)大幅增加軟錯(cuò)誤率。我見(jiàn)過(guò)一臺(tái)機(jī)器換了新內(nèi)存后還是頻繁報(bào) CE排查半天發(fā)現(xiàn)是內(nèi)存上方風(fēng)道被灰塵堵了溫度長(zhǎng)期在 90 度附近。清灰之后 CE 計(jì)數(shù)再?zèng)]漲過(guò)。所以報(bào)錯(cuò)后別急著只會(huì)換內(nèi)存先看溫度、看電壓、看頻率。還要注意XMP/EXPO 這類內(nèi)存超頻配置在服務(wù)器環(huán)境里能不開(kāi)就別開(kāi)。很多內(nèi)存不穩(wěn)定的報(bào)錯(cuò)其實(shí)是在一個(gè)并不保證穩(wěn)定的頻率下跑出來(lái)的。先把內(nèi)存降到 JEDEC 標(biāo)準(zhǔn)頻率再觀察問(wèn)題往往就消失了。這個(gè)經(jīng)驗(yàn)在自建實(shí)驗(yàn)室服務(wù)器上特別常見(jiàn)。2. 芯片出廠前的那道關(guān)MBIST ECC與測(cè)試覆蓋率難題2.1 MBIST為什么存在芯片測(cè)試的性價(jià)比問(wèn)題MBIST 全稱 Memory Built-In Self-Test存儲(chǔ)器內(nèi)建自測(cè)試。芯片越做越大存儲(chǔ)器SRAM、寄存器堆、緩存占整個(gè) SoC 面積的比例越來(lái)越高很多芯片里 SRAM 能占到 40% 到 60% 以上。如果所有存儲(chǔ)單元測(cè)試都靠外部 ATE自動(dòng)測(cè)試設(shè)備來(lái)做測(cè)試時(shí)間會(huì)非常長(zhǎng)測(cè)試向量極其龐大成本直接失控。于是行業(yè)里想出一個(gè)辦法在芯片內(nèi)部放一個(gè)自檢程序用硬件狀態(tài)機(jī)實(shí)現(xiàn)的測(cè)試控制器。它上電后自己產(chǎn)生地址、數(shù)據(jù)、讀寫(xiě)控制信號(hào)對(duì)每一塊存儲(chǔ)器執(zhí)行標(biāo)準(zhǔn)測(cè)試算法然后把結(jié)果保存在寄存器里外部通過(guò) JTAG 或調(diào)試接口讀取結(jié)果。這就是 MBIST。打個(gè)比方ATE 測(cè)試像是每輛車都開(kāi)到檢測(cè)站做檢測(cè)MBIST 則是每輛車出廠前自己跑一遍內(nèi)置自檢程序檢測(cè)站只讀一個(gè) PASS/FAIL 結(jié)果。2.2 常見(jiàn)故障模型與March算法MBIST的測(cè)試語(yǔ)言MBIST 的測(cè)試算法不是亂寫(xiě)的。芯片制造過(guò)程中存儲(chǔ)單元會(huì)有各種物理缺陷對(duì)應(yīng)不同故障模型SAFStuck-At Fault固定故障某個(gè) cell 永遠(yuǎn)讀出 0 或永遠(yuǎn)讀出 1TFTransition Fault轉(zhuǎn)換故障0→1 或 1→0 轉(zhuǎn)換無(wú)法完成CFCoupling Fault耦合故障一個(gè) cell 的狀態(tài)變化影響了相鄰 cell地址譯碼故障地址線短路或斷路導(dǎo)致訪問(wèn) A 地址時(shí)實(shí)際訪問(wèn)了 B 地址最經(jīng)典的測(cè)試算法是 March 算法族其中March C-是工業(yè)界用得最多的模板之一。它的流程大致是先全寫(xiě) 0然后從低地址往高地址做讀 0、寫(xiě) 1操作再?gòu)母叩刂吠偷刂纷鲎x 1、寫(xiě) 0操作如此反復(fù)幾個(gè) march element最后全讀 0。它能把 SAF、TF、CF 全部覆蓋而且復(fù)雜度只有 O(n)意思是存儲(chǔ)器容量越大測(cè)試時(shí)間線性增長(zhǎng)而不是指數(shù)增長(zhǎng)。除了 March 算法還有棋盤格Checkerboard、走步GALPAT、蝴蝶Butterfly等測(cè)試方式各自針對(duì)不同類型的缺陷更敏感。實(shí)際項(xiàng)目中通常組合使用先用快速 March 算法做全量掃查再用定向算法做診斷。2.3 把ECC放進(jìn)MBIST硬錯(cuò)誤與軟錯(cuò)誤的邊界MBIST ECC 這一塊很多人理解成在 MBIST 里面跑一段 ECC 校驗(yàn)這個(gè)理解太淺了。真正的問(wèn)題在于MBIST 測(cè)試的目標(biāo)是物理缺陷硬錯(cuò)誤但測(cè)試過(guò)程中的軟錯(cuò)誤會(huì)干擾判斷。軟錯(cuò)誤是什么就是存儲(chǔ)單元本身沒(méi)壞但 α 粒子或電磁干擾讓它暫時(shí)翻轉(zhuǎn)了。如果你用普通 MBIST 測(cè)到某個(gè) cell 讀寫(xiě)不一致你沒(méi)法判斷是cell 真的壞了還是測(cè)試瞬間受干擾。如果在 MBIST 里加入 ECC 能力當(dāng)檢查到單比特翻轉(zhuǎn)時(shí)ECC 能糾正它于是可以區(qū)分糾正成功且后續(xù)重復(fù)測(cè)試不再出錯(cuò)大概率是軟錯(cuò)誤糾正失敗或者同一位置反復(fù)報(bào)錯(cuò)就是硬故障。這個(gè)區(qū)分對(duì)良率分析特別重要——把軟錯(cuò)誤當(dāng)硬故障去修會(huì)白白浪費(fèi)冗余資源。另一個(gè)關(guān)鍵點(diǎn)是用 ECC 校驗(yàn)測(cè)試邏輯本身。車規(guī)級(jí)芯片里功能安全標(biāo)準(zhǔn)明確要求存儲(chǔ)器的保護(hù)邏輯包括 ECC也要被測(cè)試覆蓋。如果 ECC 邏輯自己壞了運(yùn)行時(shí)即使內(nèi)存出錯(cuò)它也不會(huì)報(bào)這是很危險(xiǎn)的事。所以在 MBIST 里設(shè)計(jì)專門的測(cè)試模式做錯(cuò)誤注入error injection驗(yàn)證 ECC 電路能否正確檢測(cè)和糾正預(yù)設(shè)錯(cuò)誤模式是必不可少的一步。2.4 冗余修復(fù)與良率ECC和Repair的配合MBIST 測(cè)出壞 cell 之后怎么辦直接報(bào)廢良率太低。所以現(xiàn)代 SoC 都帶冗余修復(fù)機(jī)制在存儲(chǔ)陣列旁邊放額外行或列冗余行/列測(cè)試時(shí)發(fā)現(xiàn)故障 cell通過(guò) eFuse 或激光熔絲把壞行列整個(gè)禁用把備用行列映射進(jìn)去。這個(gè)流程叫Repair。ECC 在這里也有戲份有些壞 cell 是間歇性故障測(cè)試時(shí)有時(shí)好有時(shí)壞一次性很難抓到。通過(guò) ECC 的錯(cuò)誤計(jì)數(shù)輔助可以識(shí)別出哪些區(qū)域錯(cuò)誤率異常高再?zèng)Q定是否啟用冗余修復(fù)。換句話說(shuō)ECC 提供了趨勢(shì)級(jí)的故障證據(jù)而不只是對(duì)/錯(cuò)的 bit。從這個(gè)角度看MBIST ECC 和內(nèi)存子系統(tǒng)的 ECC 本質(zhì)是一回事都是通過(guò)冗余信息實(shí)現(xiàn)對(duì)錯(cuò)誤的感知、糾正和記錄只是應(yīng)用階段不同——一個(gè)在出廠前幫助提升良率一個(gè)在運(yùn)行期保障數(shù)據(jù)安全。3. 財(cái)務(wù)系統(tǒng)里的ECCSAP年結(jié)從余額結(jié)轉(zhuǎn)到訂單結(jié)算3.1 SAP ECC是什么為什么年結(jié)是個(gè)大事先澄清一個(gè)事在這個(gè)語(yǔ)境下ECC 不是 Error Correcting Code而是ERP Central Component。SAP ECC 是 SAP ERP 6.0 這套企業(yè)管理軟件的核心組件承載企業(yè)財(cái)務(wù)、采購(gòu)、銷售、生產(chǎn)、庫(kù)存、人力等核心業(yè)務(wù)。這些年 SAP 在推 S/4HANA但大量企業(yè)還在使用 ECC 體系所以ECC 年結(jié)這個(gè)詞在財(cái)務(wù)顧問(wèn)和企業(yè) IT 運(yùn)維圈子里依然高頻出現(xiàn)。年結(jié)就是年度結(jié)轉(zhuǎn)一年做一次。它的核心邏輯是當(dāng)前年度結(jié)束后把所有損益科目余額歸零并轉(zhuǎn)入留存收益科目把資產(chǎn)負(fù)債表科目的期末余額轉(zhuǎn)為新年度期初余額同時(shí)處理掉所有應(yīng)該在舊年度清掉的未清項(xiàng)目。這個(gè)動(dòng)作在 ECC 里跨了好幾個(gè)模塊FI財(cái)務(wù)會(huì)計(jì)、CO管理會(huì)計(jì)、AM資產(chǎn)管理、MM物料管理、SD銷售分銷。任何一個(gè)模塊沒(méi)處理干凈年結(jié)就過(guò)不去。3.2 年結(jié)步驟拆解FI余額結(jié)轉(zhuǎn)、資產(chǎn)年結(jié)、CO訂單結(jié)算年結(jié)不是一個(gè)事務(wù)代碼的事是一套順序化流程。先說(shuō)FI 余額結(jié)轉(zhuǎn)通常用事務(wù)代碼 FAGLGVTR新總賬或 F.16經(jīng)典總賬。結(jié)轉(zhuǎn)前先要打開(kāi)新會(huì)計(jì)年度做平衡檢查然后執(zhí)行結(jié)轉(zhuǎn)。核心是把 PL 科目余額轉(zhuǎn)入指定留存收益科目同時(shí)把 BS 科目期末余額變成新年度期初余額。再說(shuō)資產(chǎn)年結(jié)事務(wù)代碼 AJAB。執(zhí)行前必須先確認(rèn)本年折舊都已過(guò)賬AFAB資產(chǎn)主數(shù)據(jù)處于正常狀態(tài)不能有未過(guò)賬的資產(chǎn)購(gòu)置或減值發(fā)生。如果折舊沒(méi)跑完AJAB 直接告訴你折舊未完全過(guò)賬。然后是CO 月結(jié)/年結(jié)這是最容易出問(wèn)題的地方。成本中心、內(nèi)部訂單、生產(chǎn)訂單在年底要保證余額清零。常規(guī)流程是用 KSS2 做實(shí)際作業(yè)價(jià)格切割用 KKAO 做作業(yè)價(jià)格重估用 KGI2 計(jì)算在產(chǎn)品WIP用 KO88 結(jié)算內(nèi)部訂單用 CO88 結(jié)算生產(chǎn)訂單所有訂單如果還有未分配成本或未確認(rèn)投入結(jié)算就會(huì)報(bào)錯(cuò)。常見(jiàn)的補(bǔ)救方式是回到源頭把收貨、發(fā)票、費(fèi)用分配補(bǔ)齊讓訂單變成可結(jié)算狀態(tài)然后重新執(zhí)行結(jié)算。MM 模塊要注意年度切換前要把 GR/IR 科目清理干凈做庫(kù)存盤點(diǎn)MI04 錄入盤點(diǎn)結(jié)果MI07 過(guò)賬盤盈虧差異未清的采購(gòu)訂單要么收貨要么取消。SD 側(cè)要檢查未交貨的銷售訂單決定是否順延到新年度處理。3.3 年結(jié)最容易卡的三個(gè)環(huán)節(jié)第一個(gè)坑CO88 報(bào)訂單成本差異未處理。這個(gè)往往是因?yàn)楫?dāng)月實(shí)際成本計(jì)算沒(méi)跑完或者差異金額沒(méi)有調(diào)整到恰當(dāng)科目。解決思路不是繞過(guò)報(bào)錯(cuò)而是回頭跑完 KSS2/KKAO把差異清算后再做結(jié)算。第二個(gè)坑資產(chǎn)年結(jié)報(bào)折舊未完全過(guò)賬。原因是 AFAB 雖然跑了但部分資產(chǎn)因?yàn)檎叟f碼設(shè)置問(wèn)題沒(méi)被選入或者上月折舊有沖銷導(dǎo)致當(dāng)月實(shí)際折舊額不對(duì)。處理方式是檢查資產(chǎn)過(guò)賬日志把遺漏折舊補(bǔ)跑再重新執(zhí)行 AJAB。第三個(gè)坑余額結(jié)轉(zhuǎn)后發(fā)現(xiàn)憑證有問(wèn)題。年結(jié)時(shí)會(huì)生成大量自動(dòng)憑證一旦某個(gè)憑證分配錯(cuò)了科目或金額沖銷很麻煩。所以我建議正式年結(jié)前先在測(cè)試 client 里完整演練一遍確認(rèn)結(jié)轉(zhuǎn)憑證和報(bào)表無(wú)誤后再生產(chǎn)執(zhí)行。別嫌麻煩這個(gè)演練能幫你躲過(guò) 90% 的年結(jié)之夜翻車。3.4 年結(jié)時(shí)間線與演練建議我見(jiàn)過(guò)的靠譜團(tuán)隊(duì)年結(jié)安排大致是這樣的年底前一個(gè)月定方案、定業(yè)務(wù)凍結(jié)窗口、定責(zé)任人年底最后一周發(fā)布凍結(jié)通知停止與舊年度相關(guān)的收貨、發(fā)貨、開(kāi)票、采購(gòu)審批集中處理未清項(xiàng)跨年夜或元旦假期按 FI 余額結(jié)轉(zhuǎn) → CO 訂單結(jié)算 → 資產(chǎn)年結(jié) → 后勤模塊收尾的順序執(zhí)行安排專人盯 SM37 后臺(tái)作業(yè)隊(duì)列新年度第一周驗(yàn)證期初余額、跑平衡檢查、抽查關(guān)鍵報(bào)表經(jīng)驗(yàn)之談年結(jié)做得好不好90% 的功夫在于前置清理。很多人年結(jié)加班到半夜不是因?yàn)榻Y(jié)轉(zhuǎn)本身難而是因?yàn)槠綍r(shí)月結(jié)和清賬沒(méi)做好年底所有問(wèn)題一起爆發(fā)。如果想少加班平時(shí)每個(gè)月就把 CO 訂單結(jié)掉、GR/IR 差異清掉、資產(chǎn)折舊確認(rèn)掉年底自然順暢得多。4. 三套ECC體系下的實(shí)操經(jīng)驗(yàn)與共同底牌4.1 共同經(jīng)驗(yàn)一先看日志再動(dòng)設(shè)備、動(dòng)數(shù)據(jù)無(wú)論是內(nèi)存 ECC、MBIST ECC 還是 SAP 年結(jié)我發(fā)現(xiàn)最容易犯的錯(cuò)誤就是不看日志直接上手。服務(wù)器 UE 報(bào)警上來(lái)就換內(nèi)存結(jié)果可能是溫度問(wèn)題MBIST 覆蓋率低上來(lái)就調(diào)算法參數(shù)結(jié)果可能是測(cè)試頻率太高導(dǎo)致誤判年結(jié)失敗反復(fù)點(diǎn)重跑按鈕結(jié)果底層是一筆憑證沒(méi)清。解決方案都一樣先把日志、計(jì)數(shù)、狀態(tài)表拉出來(lái)看一遍。內(nèi)存看 dmesg、EDAC、MCEMBIST 看 DFT 寄存器的 fail 地址和 fail 計(jì)數(shù)SAP 年結(jié)看 CO88 錯(cuò)誤列表和 COGI、VF04 這類未處理隊(duì)列。日志就是證據(jù)先看證據(jù)再?zèng)Q策。沒(méi)有證據(jù)鏈的排查本質(zhì)上是在碰運(yùn)氣。4.2 共同經(jīng)驗(yàn)二校驗(yàn)邏輯只是兜底治理要前置ECC 糾錯(cuò)能力再?gòu)?qiáng)也只是在錯(cuò)誤發(fā)生之后做補(bǔ)救MBIST 覆蓋率再高也不能把壞 cell 變成好 cell年結(jié)流程再完善也不能替你把平時(shí)該清的賬清掉。很多問(wèn)題的根因都在源頭。芯片設(shè)計(jì)階段如果把 ECC 當(dāng)成后補(bǔ)保護(hù)傘板級(jí)信號(hào)完整性和內(nèi)存顆粒選型不重視運(yùn)行時(shí) ECC 報(bào)警必然頻繁芯片項(xiàng)目如果前期不規(guī)劃 DFT 覆蓋率和 repair 資源量產(chǎn)良率就很難看財(cái)務(wù)團(tuán)隊(duì)如果每個(gè)月不認(rèn)真結(jié)賬年底必然連環(huán)爆。治理動(dòng)作前置永遠(yuǎn)比事后補(bǔ)救省力。4.3 一個(gè)縮寫(xiě)、三套黑話術(shù)語(yǔ)對(duì)照與應(yīng)急速查為了方便在不同領(lǐng)域之間切換我給讀者整理了一張對(duì)照表詞內(nèi)存ECCMBIST ECCSAP ECC全稱Error Correcting CodeError Correcting Code內(nèi)建自測(cè)試語(yǔ)境ERP Central Component出現(xiàn)場(chǎng)景服務(wù)器運(yùn)行期芯片出廠前測(cè)試企業(yè)ERP財(cái)務(wù)年結(jié)核心指標(biāo)CE/UE計(jì)數(shù)故障覆蓋率、修復(fù)率結(jié)轉(zhuǎn)成功/失敗錯(cuò)誤處理糾正、告警、更換修復(fù)、壓制、分析調(diào)整、重跑、重新結(jié)算關(guān)鍵工具dmesg、edac-util、mcelogJTAG、DFT寄存器、eFuseFAGLGVTR、AJAB、CO88、SM37另外提醒一點(diǎn)如果工作中接到一個(gè)只說(shuō)ECC 有問(wèn)題的需求先確認(rèn)對(duì)方在哪個(gè)領(lǐng)域再開(kāi)始排查。方向錯(cuò)了再多的技術(shù)動(dòng)作都是白費(fèi)。最后分享一個(gè)我自己的習(xí)慣不管是處理內(nèi)存報(bào)警、芯片測(cè)試還是 ERP 年結(jié)我都會(huì)先在紙上寫(xiě)清楚三件事——現(xiàn)在有什么異常、數(shù)據(jù)或日志里留下了什么痕跡、我打算動(dòng)哪一步來(lái)改變現(xiàn)狀。三套 ECC 體系雖然完全不同但這個(gè)思路從來(lái)沒(méi)變過(guò)。如果你也能從確認(rèn)現(xiàn)場(chǎng)證據(jù)開(kāi)始而不是一上來(lái)就猜和試很多問(wèn)題根本不會(huì)浪費(fèi)你幾個(gè)小時(shí)甚至一個(gè)通宵。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
一本一道vs波多野结衣| 色综91| 国产精品久久久久久久黄无码 | 深夜激情 | 激情无码日韩| 九九英色视频| 手机在线A片| 中文字幕丝袜人妻| 一区二区三区视频| 国产后入精品| 蜜臀久久99精品久久久久| 亚洲中文字幕精品久久久久久直播| 成人老鸭窝人人在线视频| sewuyueav| 婷婷99狠狠| 蜜臀久久99精品久久久久久成人小说| 久久香蕉国产线看观看猫咪av| 好舒服视频| 欧美久久婷婷| 国产美脚女优尤物在线观看| 加勒比色99999| 久久99精品九九久久久婷婷| 天天视频黄| 99热97| 黄色AAAAA欧美| 蜜桃久久精品一区二区三区| 免费观看国产不卡av| 97频视在线| 久久久久久久强迫| 亚洲欧美性生活| 亚洲欧美高清无码| 欧美人妻色| 中文字幕日韩精品久久| 日韩二区三四区五区六区在线看| 亚洲欧美国产其他二区| 亚洲欧洲综合| 日本中文字幕熟妇| www.色婷婷色综合| 永久电影三级在线观看| 天天综合麻豆视频| 爱爱动态120秒| 久久久艹艹艹| 手机在线播放国产福利| 久久蜜桃一区二区| 美女露胸露屁股| 麻豆国产精品午夜视频| 免费日韩黄片| 男女日B国产| 狠狠躁久久躁| 清纯唯美综合| 欧美三级免费伊人| 日韩AV熟女乱伦| 东京热双插| 人人妻人射| 日韩视频小说在线观看| 亚洲二区精品在线观看| 麻豆视频一区二区| 日本新免费二区三区| 国产免费久久久久| 秋霞 色色| 99热国产精品| 成年男人的天堂| 一区二区三区成人高清视频| 中韩中文字幕在线观看| 啊啊啊啊在线观看网址| 日本人妻A片成人免费看片| 久久精品熟妇丰满人妻99| 六月丁香婷| www.99色| 九九热re99re6在线精品| 色噜噜国产在线| 特级毛片特黄久久免费看| 少妇天堂| 伊人宅男大香蕉| 国产农村妇女精品一| 一本一道波多野毛片中文在线| 国产999精品久久久| 亚洲精品a人片在线观看视| 黄色免费网| 久久久婷婷| 亚洲天堂电影精品一区| 国产成年免费大片黄在线观看| 亚洲精品乱码久久久久久蜜桃麻豆| 久久99操天天日| 中文字幕精品一区欧美| 亚洲欧美色图片| 大香蕉92| 99在线免费观看| 外国91| 久久久久9| 久久国产视频专区一二三| 国产精品久久伊人| 国产精品久久久久久照片| 97碰碰色| 色五月激情AV在线| 国产av强奸美女| 亚瑟国产精品久久无码| 久久久久久九九九| 玖玖超碰熟| 人妻在线中出视频| 精品国产自在在线99| 两性综合网| 淫荡熟女乱伦网| 日韩三A大片在线观看| 91麻豆天美| 少妇大屁屁| 无套后入双马尾| 超碰 国产熟女精品一区| 九九久久99| 红桃视频高潮| 国产美女91视频| 亚洲天堂第一页| 少妇综合网| 老司机香蕉久久久久| 热热色综合网| 蜜臀久久99精品久久久久久-DVD原版全| 久久久无码精品人妻二区| 男人成人黄色视频在线观看免费下载| 久久熟女久| 亚洲青青草| 亚洲91射| 久久青青草在线视频| 九久9精品| 亚欧成人一级片在线播放| 亚洲欧美清纯| 久久久久久久免费A片国产成a人亚洲精∨品无码 | 欧美福利视频啊啊啊啊| 欧美一区二区三区另类精品| 另类小色呦| 亚洲中文字幕网| 激情小说五月天| 96久久科窝| 狠狠91| 欧美亚洲91| 亚洲**2021在线观看| 中文字幕乱在线伦视频中文字幕乱码在线 | 在线综合 亚洲 欧美中文字幕| 综合久久久久久久久91| 精品无码欧美三级| 青娱乐国产盛宴视频| 国产97视频免费观看| 超碰碰碰碰| 欧美夜夜狠| 欧美成人精品一区二区三区| 天天干夜夜一操| 免费综合亚洲中文| 久久国产精品一级二级三级| 色欧洲97| 九九热AV| 青娱乐国产盛宴视频| 天天色综亚洲91污| 91精品国产综合久久久蜜臀| 九一精品牛牛一区二区| 天天影视综合色| 欧美精品一二三| 亚洲av国产av综合av卡| 久久乐| 欧美999999| 肥佬影院91| 国产乱婷婷精品二区三区| 九九热精彩视频| 欧美情色亚洲| 密乳AV免费观看| 久久丁香五月天| 久日91在线| 九热久| 7777奇米影视久久| 欧美制服网站美腿丝袜| 欧美少妇人妻| 国产区性爱在线视频秋霞豆| 夜间福利片1000无码| 国产精品诱惑| 国产网站在线播放| 色综合久久888| 吻戏激情性巴克| 日韩精品9999| 国产熟女精品一区二区| 国产福利第一视频| 精品综合久久久久久97| 美女尤物人人操| 综精品久久久aaaa| 亚洲色欧美| 欧美在线干| 中文字幕AV片| 日韩人妻制服丝袜av| 天天操av懂色| 天天网综合| 五月婷婷爱六月丁香色| 欧美综合网1| 亚洲国产精品V?在线播放| 无码国产精品午夜不卡(| 亚洲第一页欧美| 久久一二三四五六七八九区区区 | 蜜桃精品一区二区三区ww| 超碰9 7女人| 国产特级毛片AAAAAA高潮流水 | 日本大片日本一区二区免费高清| 无码人妻一区二区三区色欲aⅴ | rion磁力链接| 日B操| 亚洲无码AV九九九| 97热视频在线观看| 国产理论视频在线播放| 天天操美美| 天天躁日日躁成人字幕aⅴ| 三级片大波波| www.亚洲成人一区| 另类图片亚洲加勒比另类图片亚洲加勒比另类图片亚洲加勒比 | 97人人干| 美欧色综合| 97色婷| 99超碰碰| 天天干18禁| 激情看片网站| 欧美一级在线观看成人| 75大香蕉| 久久一区二区高清免费| 操老熟女AV| 极品美女福利在线观看| 亚洲欧美清纯| 东京热av男人的天堂| 性爱免费视频成人| 日韩综合色网| 激情五月天婷婷| 韩国三级色呦呦| 夜夜中出国产| 国产精品99精品视频网站| 乱码熟妇人妻久久久| 亚洲阿v天堂无码z2018| 久久精品黄色| 福利一级版子| 色五月婷婷色| 亚洲国产另类在线中文| 2017天天透天天通天天擦| 日韩亚洲Av人人夜夜澡人人爽| 欧美,亚洲,日韩,v,天堂,手机在线观看| 免费啪啪啪网站18岁| 婷婷丁香人妻| www.99色| 日本 情色 1区2区3区| 夜色五月天| 色欲三区| 加勒比海色香蕉婷婷| 成人综合视频久久| 亚洲欧美国产其他二区| A 天堂| 中文字幕人乱码中文字的预防方法 | 亚洲色系另类精品国产| 亚洲熟女综合一区二区| 国精综合一二三区影视| 色情综合网| 国产精品国产亚洲区艳妇糸列| 日欧毛片久久| 97WW精品| 人人做人人妻人人夜视频| 亚洲久久久久| 91美女精品| 人人澡综合涩| 久久黄色网址| 99无码精品| 中国一级操逼视频| 少妇久久久| 中文字幕、久久精品国产2020、久久综合久久自在自线精品自、亚洲 | 91最新综合| 青娱乐日韩无码| 日本性感人妻91| 超碰偷拍| 伊人久大| 99蜜桃臀久久久欧美精品网站| 亚洲人妻一区二区三区| 国产高清MV操逼视频| 欧美一级在线观看成人| 九九九国产| 男人天堂免费| 欧美洲精品一级| 亚洲一二三四区机械| 欧美性爱另类综合| 手机在线视频国内精品| 天天谢天天干| 99久久久无码国产精品性啊聊| 公司1区2区3区精产精| 中文字幕加勒比海高清无码免费视频| 天天拍天天操| 婷婷尹人大香蕉免费| 人人射人人操人人摸| 亚洲欧洲综合av在线| 91欧洲国产成人久久精品网站| 青青草影视蜜久久| 91久久久久| 熟女久久久| 色网在线| 色踪合AV| 大香交| 国产成人精品午夜福利| 玖玖爱综合网| 日han少妇无码| 五月久久HDAV| 色婷亚洲五月在线观看| 精品美女少妇一区二区| 三级色影综合网| 亚洲欧洲无码97久久精品| 中文字幕在线24| 色五月婷婷五月天| 亚洲最大的黄色电影网站。| 国产日韩精品一区二区三区| 欧美亚洲丝袜美女电影| 97硬碰| 欧美性爱一内片一区二区三区| 97舔舔| 东北黄色电影| 欧美暴力猛交| 热的中文 热的有码 热的国产| 欧美 熟女 日韩| 骚人妻少妇视频| 国产免费永久精品无码| 中文字幕精品资源在线| av最新免费中文字幕| 免费国产电影一区二区| av在线观看不卡网站| 国产精品自拍xxxx| 极品白嫩美女白浆成人福利在线看| 亚洲 国产 精品一区| 久久人人爽人人爽人人片Ⅴ| 97超碰jingpin| 97综合国产精品高潮久久| 人人妻人人色| 99少妇| 精品午夜福利导航| 999亚洲国产视频| 首页中文字幕中文字幕免费| 久热色情精品| 国产乱码久久久| 黄色大片视频在线免费看| 91搞逼视频| 亚洲欧洲综合视频在线| 九九玖玖精品| 极品少妇久久久久| 久久久精品中文字幕爱豆| 中文字幕亚洲热播人妻| 最新欧美色网| 超碰久在线天天做| 热天堂一区二区| 亚洲AV无码国产精品久久久久| 丰满的三级少妇欧美久久久| 国产最新AV| 中文字幕日韩精品一区二区三区| 亚洲九九视频在线观看| 亚洲美女av无码| 强奸乱伦中文字幕AV| 99热婷婷| 91精品国久久久久久无码| 99re99在线视频| 色欲天天婬色婬香WWW夜色| 日韩成人大片一区二区| 白丝少妇一区二区| 亚洲激情视频| 日韩av不卡在线观看| 男人的天堂.com| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 丝袜狂射91| 日本欧美中文字幕| 能看的AV| 97超级欧美| 国产精品一区二区三区免费视频| 国产精品亚洲高清在线| 毛片17S| 国产搭汕a级片| 男女激情黄色网址| 日韩激情视频| 日韩福利电影网| 久久99综合| 狠狠爱AV| 久久精品国产亚洲AV片多多| 最新无码国产| 超碰97综合在线| 狼狼色丁香久久婷婷综合五月| 99爱久久视频频| 超碰人人干| 一,爱啪啪,在线免费视频| 久久国产逼| 神马久久久久久| 欧美综合网A| 殴美色网| 一级性爱视频免费观看 | 欧美日本国产日韩激情视频| 亚洲精品xxx| 日本成人A片网站| 五月天久久综合网| 日韩精品国产一区二区| 欧美性爱1080p| 午夜一区二区三区国产| 色色福利| 婷婷综合久久| 亚洲,欧美,春色,另类| 九九亚洲| 精品国产一区二区三区久久久蜜臀| 久操黄色视频| 嗯嗯啊啊用力视频免费| 粉嫩少妇自慰在线| 中文精品少妇天堂| 日本久久超碰| 成人小说另类在线| 久久无码成人| · —级AA伦aa坐爱午夜极速ⅴA一区天天噪天天噪天天噪 | 丝袜翘臀后入欧美校园亚洲自拍另类小说一区中文字幕少妇诱惑 | 日韩av一级黄片| 高树玛利亚无码流出| 激情四射婷婷四五月天| 黄页网站成人免费| 欧美性生活男人的天堂| 黑人精品XXX一区一二区| heyZO天然素人无码AⅤ专区| 人人插人人摸人人| 亚洲色鬼| 高清不卡 中文 人妻| 清纯唯美亚洲另类| 国产无码精品成人| 日日碰狠狠添天天爽超| 欧美少妇一区二区三区| 日本免费一区二区不卡 | www.成人无码| 国产精品农村妇女| 精品无码一区二区三区| 美国一区二区三区视频| 九九黄色网| 热天堂一区二区| 97天天在线| 日韩精品人妻| 中文字幕亚洲在线一区| 91最新综合| 91女优在线观看 | 亚洲密乳AV| 综合色99| 日本久久综合| 欧美狠狠| 精品一区二区成人动漫| 色哟哟-国产专区| 日日碰视频网| 欧美伊人久久综合网| www.99在线| 国产精品欧美激在线| 成人一二三区| 国产亚洲精品玖玖玖在线观看| 9999久久久久| 2019天天干| 亚乱色| 800zy一区二区| 欧美色蜜桃97| 亚洲一区二区三区欧美日韩| 欧美在线啊啊啊 | 亚洲少妇综合在线播放| 97综合日韩| 中文字幕精品码亚洲| 日韩欧美俄罗斯A片| 物尤视频一区二区| 色图综合网| 99热国产| 欧美激情 一区| av日韩手机在线影视| 金典av| 人人 操人人 操人人| 蜜桃视频精品一区二区| 精品玖九九久| 中文字幕 人妻不满 在线视频| 中文字幕av一区二区三区人妻少妇| 日韩熟女乱伦中出| 青女在线| 秋霞网—男女啪啪亚洲免费体验区 | 日韩成人无码| 国产丝袜欧美在线视频| 啪啪视频mP4| 男人的天堂99| 激情婷婷五月天| 一区二区三区看视频| 国产精选三级在线观看| 亚洲情色 无码专区| 96久久精品一二三区色欲| 欧美大战久久久伊人| 无码日韩人妻av一| 亚洲在线观看| 婷婷丁香五月综合| 成人五月天丁香激情综合| 国产suv精品一区二区四| 亚洲高清视频在线免费观看| 九九热五区| Av手机版天堂网| 国产第二页| 又黄又粗又硬又长又大| 影音先锋视频在线| aV中文麻| 2025亚洲男人天堂| 日本熟女免费視颖| 久久九九热| 丁香激情五月| 国产无马在线| 超碰97亚洲区| 欧美综合站| 亚洲啪啪视频免费| 加勒比人妻综合| 欧美日韩999| 精品一区二区三区国产| 91精品婷婷国产综合久久竹菊| 强奸乱伦av电影| 91亚洲人| 欧美玖玖爱免费玖玖| 五月综合色| 秋霞一集毛片观看| 亚洲久草AV色图| 97久久久久久久精| 丝袜内射| 色999;丁香五月| 女欧美一区二三区| 五月天久久人妻| 九月AV| 午夜高清成人在线视频| 久久中文字幕不卡人妻| 抽插一区二区视频| 精品人妻视频一区二区三区蜜桃视频| www…国产操逼| 内射小黄片| 四方色播| 国产成久久综合片| 色香91| 国产天天骚| 久草精品在线| 91九久| 在线无码操| 亚洲无码超碰免费| 国产91丝袜在线播放蜜月| 亚洲情欲| 男人久久精品| 96精品在线| 国产精品无码av在线 | 人人看黄色视频| 性欧美第一页| 啊啊啊啊啊啊啊啊要喷了| 欧美一区二区亚洲天堂| 东京热精品97综合网| 婷婷五月天影院| 欧美三级一级| 欧美成人AⅤ大片在线观看| 国产精品一区二区三区免费视频| 亚洲性少妇| 欧美在线色图| 久久女人视频| 人妻激情另类| 香蕉在线一区二区三区| 日韩成人大片一区二区| 狠狠色噜噜狠狠狠狠狠色综合久久 | 亚洲熟妇丝袜在线观看| 大香蕉伊人色偷偷在线| 韩日巨乳美女免费视频在线观看| 精品射1999| 女优视频第10页| 337p大胆噜噜噜噜噜91Av| 91成人在线免费视频| 强奸乱伦AV网站| 自怕偷自怕亚洲精品| 成人五月天丁香激情综合| 外国91| 亚洲男人天堂AV| 上特色A在线| 校园春色 欧美| 久久久久国产精品久久久| 999热这里只有精品| 欧美精品黑人猛交高潮| 色欧洲| 中出欧美| www.久久制服糖| 天天艹天天日| 国产成人bd在线观看| 亚洲性爱无码乱伦av| av天堂手机版追回| 欧美九9 9 9| 精品久久久久,69国产成人精| 97干日韩| 亚洲限制级| 亚洲资源网| 婷婷久久久精品| 欧美九九九九九| 99精品国产户外露出| 久久精品国产AV一区二区三区| 91丨九色丨国产丨人妻在线| 久久精品国产亚洲AV高级北京| 人妻精品一区二区在线| 色婷婷激情| 精品网站9999| 不卡六六在线91| 天天亚洲| 脫衣舞一区二区三区| 色官网在线| 欧美美女自慰一区二区三区| 91在线丝袜视频| 啊啊啊啊,啊啊好多水| 在线视频资源| 正在播放国产精品一区| 婷婷在线精品| 亚州综合AⅤ| 欧美自拍网| 人妻9117c| 激情综合网五月婷婷| 婷婷伊人一区| 在线 欧美 亚洲| 四虎在线免费视频| 天天干天天插| 超碰天天操| 黄色工厂这里只有精品| 少妇一区二区三区高速| 国产少妇肉丝在线观看| 中文字幕、久久精品国产2020、久久综合久久自在自线精品自、亚洲 | 麻豆蜜桃视频在线观看 | JIZZJIZZ国产精品喷水| 91丝袜美女| 91狠狠狠| 97人妻免费中文字幕| 性爱动态120秒| 亚欧美色图| 日婷婷| 午夜精品久久久久久久男人的天堂| 先锋音影AV| 91成人18| www.99热| 少妇贴图| 91麻豆va国产精品| 天美传媒av一区二区| 色综合一本| 五月天激情网站| 夜夜做夜夜爽精品视频| 欧美一级特黄淫片在线观看| 顶级少妇BT天堂| 精品人妻一区二区三区在线视频不卡| 手机看片1024你懂的国产| 区二区亚洲婷| 日韩无码操逼片| 日韩专区数据列表-第3230页-精品国产一区二区三区香蕉 久久99熟女人妻中文字 | 九九久久国产精品| 91久久久亚洲| 啪啪91| 九九AV| 久久欧美按摩999| 精品少妇99| 色播丁香| 91色香| 精品一区二区三区蜜桃臀赵总| 蜜臀在线网站| 五月丁香综合啪啪| 9久9久9久9久视频网站| 国产欧美一区激情交| 91亚洲欧美综合高清在线| 逼逼逼逼操操操操操操操操操午夜剧场| 四虎视频在线观看| 国产曰批免费观看久久久| 亚洲永久AV无码精品秋霞| 蜜乳视频网站| 欧美日韩精品久久| 一区二区三区免费岛国片| 国产丸一视频| 十八禁啪啦拍视频无遮挡| 欧美特黄视频网站| 婷婷五月丁香五月| 97超碰久久| 国产嫩草精品A88AV在线| a片 xxxx受爽视频| 好好的日:com久久九九| 中日韩久久久| 亚洲天堂久久| 啊啊啊com| 亚洲国产一区二区日韩专区| 国产一区二区三区久久精品太古里| 亚洲天堂7777| 精品999一区二区| JULIA人妻风俗店中出电影| 国产精品一区av在线| 国产人妻精品一区二区三区秋霞| 日本黄 R色 成 人网站| 日韩精品人妻| 熟女AV一区| 六月色色| PMv在线观看| 美女91色黄18| av优播| 奇米四色影视777久久久| 羞答答AV中文字| 蜜臀久久99精品久久久久久久久| 日本性爱视频一级| 久久久成人免费av电影| 96久久科窝| 蜜乳AV一区| 屁股久久久久久| 久久精品夜色国产亚洲AV| 色色色99| 久久亚洲欧美中文字幕国语| 老熟女综合网 | 性在久久久久久| 日韩99999| 超碰综合色| 91无人区卡一卡二卡三乱码入口最新版:能让用户有更多选择的选择-经典说说-爱 | 五月天大香蕉| 性暴力欧美猛交在线直播| 久肏视频字幕| 青青草大香蕉在线视频| 久热伊人| 免费在线观看国内色片网站网址 | 久久111| 99这里有精品| 久操网址| 边做饭边操逼逼| 99热在线只有精品| 亚洲综合69| 熟妇视频一区二区三区在线观看| 国产免费一区在线观看| 黄色在线网站| 澳门黄片一香蕉视频| 亚洲性高潮| 亚洲欧洲无码一区夜| 日韩一区二区熟女| 99免费在线视频| 亚欧Av| 久久毛卡| 先锋激情∨在线视频播放| 丰满少妇一区二区三区免费看| 精品久久艹| 蜜臀久久99精品| 中文字幕加勒比海高清无码免费视频| 发朗少妇买婬全视频中文| 国产精品自在自拍视频| 天天色黄色影院天天操| 男女做爰猛烈动高潮A片免费应用 少妇厨房愉情理伦片bd在线观看 不卡中文字幕aⅴ在线 | 日本操BAV| 性色av蜜臀av色欲aV| 黄色免费网| 无码不卡亚洲成?人片| 一区二区影视| 日本综合色图| 久久久亚洲熟妇熟女| 国产精品久久久久久久久久久久久久| 国产精品对白自产拍| 少妇99| 超碰是碰在线观看| 看看日B真人视频| 十八禁电影伊人网| 欧洲性人爱视频| 夜夜操夜夜高潮夜夜爽国产精品区| 爱爱久久| 粉嫩av一区二区三区四季| 日本久久999| 久草线上视频免费看| 亚洲国产丝袜在线观看| 蜜桃狠狠色伊人亚洲综合 | 日本精品一区二区中文字幕| 国产一区二区在线电影| 亚洲AV无码国产成人| 日本网色| 天天爽爽爽爽| 亚洲第一页欧美| 欧美国产一区二区三区麻豆传媒| 搞中出视频在线观看| 久久久久9999精品九九九| 欧美第一页| 9精品久久久久| 97欧美精品| 免费福利视频中文字幕| 91人妻素女| www.99热| 欧美狠狠弄| 久久99深爱久久99精品| 欧美自拍网| 国产精品直播在线观看直播| 中国一级特黄大片护士| 99热在线观看| 爱爱60秒免费视频| 精品176精品2| 亚洲区小说| 女人天堂av在线播放| av强奸乱轮| www.色操逼| 免费看污网站| 日本国产二线女色| 日韩无码极品| 日日天天久久啊啊aaa| 超碰这里只有精品| 男人的天堂三级| 大香蕉中文| 懂色av色欲av蜜臀av| 极品极品色影院| 亚洲中文人妻色| 天天躁夜夜躁狠狠躁AV| 一区二区三| 国产精品久久久久无码A√| 日韩精品区二区三区不卡| 操国产逼| 日本肏逼视频在线观看| 午夜呻吟欧美| 东京热男人的天堂网| 日韩 女同 综合| 麻豆亚洲AV成人无码久久精品| 性爱综合一区二区| 男女一进一出视频久久| a片偷拍视频| 亚洲夜夜欢无码一区二区| 亚洲色图20p| 91欧洲入口| av网站免费线看| 丁香六月婷婷久久综合| 黄色av片三级三级三级免费看| 色欧美天天| 尤物视频偷拍免费| 老女人老91妇女老热女| 91AV入口| 97操操| 1区2区3区中文字幕日韩| 无套后入双马尾| 天天综合网日韩| 久久久久久久亚洲Av无码| 啊啊啊啊啊啊啊国| 国产97色在线 | 亚洲| 欧美成人A天堂片在线观看| 丝袜夫妻自拍| 嗯嗯啊啊啊好爽| 欧美大香蕉专区网| 亚洲和欧美裸体美女双飞视频| 大色综合| 久久精品一区二区三区不卡| 欧美色图99| 大二网站亚洲| 韩国一级做A片免费的| 搞中出视频在线观看| 日韩欧美性爱电影在线观看| 91国产丝袜美女| 日本高清_区二区三区| 久九干| 农村少妇久久久久久久| 日本国产欧美高清在线| 日韩人妻少妇中文字幕| Julia Annxxxxx| 草草影院日本第一页| 五月天色电影| 亚洲另类欧美精品| 亚洲性爱成人| 亚州精品丝袜-不卡成人免费| 啊啊啊啊好疼| 欧美色图天堂在线| 天堂性色| 三级特黄60分钟播放| 九九热免费在线国产视频伊人五月| 夜色91| 欧美亚洲玖玖玖| 久草午夜| 夜夜爽妓女| 一二三四视频中文字幕在线看| 吉田爱美AV在线| 成人a级高清视频在线观看| 久草婷婷| 人妻少妇被猛烈进入中| 美性中文综合网| 操逼操网| 欧中美三级一区二区三区| 九九色精品| 国产精品久久久无码aV去| 久久AV无码网址| 黄色十八禁| 日韩中文字幕二区| 亚洲熟女诱惑| 青青草日逼视频| av强奸乱轮| 97欧美久久久久久久| 香蕉综合网| 亚洲人成在线放东京热| 色 亚洲 91| 国产福利第一视频| 亚洲欧美小说| 综合欧美日韩在线| 99热色精品| 另类图片欧美激情综合| 日本视频一区二区三区| 九九香蕉网| 国产熟女无套内射| 久久久av爱| av日韩在线观看电影| 精品免费囯产一区二区三区 | 精品国产国产AV| 日本日皮视频逼| 天天看天天日| 国产女人9999| 色欧美天天| 萌白酱自拍视频| 亚洲视频精选| 国产熟女二区| 亚洲日本成人动漫| jizzjizz欧美| 69国产对白刺激| 99久久综合网| 日本五十路熟女一区二区| 中文字幕青青草| 超碰在线人妻不卡| 国产原创剧情在线丝袜| 人人做,人人操,人人摸| 欧美中日韩XXXX| 大香蕉在线视频重口味毛片在线| 色狠狠色| 国产一级不卡在线观看| 超碰97欧美| 亚洲情色 无码专区| 久草资源在线视频官方总站日韩丝袜美腿 | 99激情视频| 欧美一区二区三区另类精品| 日韩97| av天堂加勒比| 欧美 亚洲 另类 综合| 久久精品视-一级做a爰片性色毛片16美国-中国女与老外在线精品 | 人人操人人操人人操人人操人人操人人人11.CM | AV乱伦国产| 久久岛国| 亚洲美女高潮喷水视频| av东京热男人的天堂| 一区=区三区视频| 色99视频| 91麻豆va国产精品| 在线观看无码三级少妇| 一本色道人妻久久| 怡红院网站在线视频| 日韩精品电影| 韩国女主播青草在线| 久久久久久电影| 日韩精品 欧美激情| 五月丁香影院| 欧美十八禁在线看| 精品区国产区一区二区三区| 人人摸.人人色| 中国AV美女| 人妻性爱一区二区| 日韩熟女精一区二区三区不卡| 成人资源中文字幕在线观看| 美女91在线观看| 吉田爱美AV在线| 亚洲色欲一区二区三区| 日韩熟女无码| 色亚州人久干视频在线观看免费版| 九一综合精品视品av| 久久曰曰| 狠狠操夜夜操蜜桃视频三区| 任你草| 国产精品网站www| 色一射色一射| 美腿色图| 国产免费大片| 色女99一级片在线观看| 9/A片| 日韩二三区| 啊啊啊97视频| 色超碰综合| 欧美激色| 久久激情视频| 色路综合| 国产精品福利视频| 百度百度日本操逼| 久久伊人最新网址视频| 操逼无码操逼| 人妻 中文 日韩| 综合色啪| 大稥蕉免费视频这里只有精品| 男人的天堂在线2| 久久人爽| 男人的天堂VA| 91丝袜美女视频| 天天看夜夜看日日干| 五月婷网站| 亚洲一区二区中文字幕| 婷婷五月天激情网| 久艹日日日| 国内偷拍精品一区二区| 天天日天天干少妇日| 欧美亚洲情色| 日韩激情毛片一级久久久| 国产人妖视频一区在线观看| 国产女人成人精品视频| 大香蕉碰碰| 人人搡人人肉久久精品| 伊人欧美大香蕉视频| 少妇精品久久| 天天看天天在线精品| 久久久九九网站| 东北女人av| 亚洲大色鬼| 精品人妻一二三| 日本狂喷奶水在线播放212| 人人透人人操| 丝袜综合色图| 熟女熟妇一区二区三区视频| 囯产精品久久久久久久久久梁医生| 一区二区三区机械有限公司| 91美女视频直播| 天堂性色| 人人摸人人干人人拍97| 久久99草| 国产精品自在线发布| 亚洲人在线| 黑人白女精品一区| 香蕉欧美| 久久伊人亚洲AV无码网站| 91 亚洲 欧美 日韩 国产 综合| 久草婷婷| 天美精品一区二区三区四区在线观看| 99精品九九九九九九| 伦激情人妻另类人妻| 久久久久久AⅤ无码免费肉站| 最新一二三区视频| 在线二区不卡| 91人妻精华帖| 久久久精久久久| 美女t无毒不卡不卡| 国产高清吃奶免费视频网站| 亚洲色图激情小说| 青青久日| 日韩精品国产一区二区| 久悠悠av| 97碰碰色| 日本在线视频导航| 韩日巨乳美女免费视频在线观看| 亚洲熟女诱惑| 97碰在线视频| 免费亚洲国产精品久久一区| 视频一区二区免费在线| 极品色社| 蜜臀99久久国产| 97欧美性爱| 少妇内射www在线观看视频 | 大香蕉人妻久久| 极品白嫩美女白浆成人福利在线看| 啊啊啊不要啊啊受不了了视频在线 | 99re6在线视频精品免费完整版安卓版| 日本欧美不卡| 青娱乐日韩无码| 加勒比在线视频| 亚洲男人的天堂va亚洲男人社| 97碰在线视频| 啊啊啊水好多| 亚洲强奸乱伦影视网| 青青草玖玖爱| 做爱A级亚欧| 久久999久| 性爱乱伦视频免费| 99啪啪| a级免费在线观看| 99久久com免费视频′| 欧美中文字幕精品人妻| 午夜天堂精品久久久久91| 肥佬影院91| 日韩素人无码一区二区三区三州| 青青草五月份天| 婷婷五月av| 人人妻人人澡人人爽人人精品浪潮| 成人激情无码在线视频| 男人天堂网手机版婷婷| 岛国黄色大片网站| 揉揉揉夜夜| 一区二区激情国产熟女| 中文幕97| 久久国产熟女影院| 香港成人一级视频在线青青草| 久久激情五月| 60秒不遮不挡| 日韩伦理久 久久 清纯| 1769一区| 一级黄碟| 丁香九月激情啪| 人妻色情天天操| 男人兔费天堂| 五月婷丁香| 色情五月综合婷婷| 综合久久9| 欧美熟妇乱码在线一区| 欧美高清无码免费视频高清版| 国产乱弄免费在线视频。 | 日韩不卡在线一区二区| 久久精品无码不卡| 九九热在线视频| 被窝影院午夜看片无码| 久久久久密臀一区二区| 啪一啪免费视频| 伊人网高清| 中文字幕97色| 18禁的网站在线| 久久久久久日韩| 欧美啪啪女女| 91久久国产精品| ss久久| 国产精品亚洲天堂网址| 老司机久久| 日韩精品国产精品五码一区二区| 高清无码久操视频| 91性| 亚洲另类久操网| 无码乱人伦中文视频| 亚洲成a人v欧美综合天堂下载| 欧美专利1区2区3区4区5区免费| 岛国免费黄色网址| 91精品91久久久中77777| 好吊色一区| 激情AV| 亚洲蜜乳av| 男人天堂网址| 嗯嗯啊啊好大好爽| 欧洲综合视频| 中文字幕在线高清男人的天堂 | 啊啊啊啊啊在线| 久久久久久久久久久久久女过产乱-少妇高潮一区二区三区喷水-成人AV | 69天堂| 美女AV一区二区| 五月天开心网| 亚州AV无码国产精品| 欧美日韩大香蕉| 亚洲好色人妻| 色综和网| 亚洲AV免费在线观看| 精品-91人妻子系列| 18禁止看精品中文字幕| 另类欧美色| 亚洲97网站| 一区,二区,三区视频| 日韩欧美女优电影| 91超级碰碰碰| 国产麻豆一级精品视频| 免费看国产曰批40分钟怎么下载| 亚洲欧美中文日韩视频中国语| 精品久久久久久中文字幕三区| 久久一二三四不卡| 91久久久久久久| 一二三四视频中文字幕在线看| 久久久久久久久999| 精品一区二区三区18| 亚州九九九精品视频| 熟女中出视频| JULIA人妻风俗店中出电影| 日韩精品一二三四| 精品亚洲国产成人AV制服丝袜 | 五月天婷精品激情| 欧美爱三级日韩久久| 草草电影院| 中文乱码字字幕在线第5页| 亚洲熟女综合一区二区| 四季av一区二区凹凸精品小说| 亚洲人人夜夜澡人人爽| 99精品久久久久久| 久久久久久久久久久久黄色| 青青草视频久久久久| 性色高清在线| 加勒比AV天堂| 秋霞Av理论一级在线| 精品传媒在线一区| 67194无码不卡| 亚洲色图第四色| 欧美天堂亚洲电影院一区在线播放| 亚洲精品视频在线播放| 黄色不卡视频| 色哟哟精品1精品2| 欧美一区91大爱| 9久精品| 蜜臀久久99精品久久久久久-DVD原版全| 老熟女中文字幕高清|