日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

ECC多面解析:內(nèi)存糾錯(cuò)、MBIST測(cè)試與SAP年結(jié)實(shí)戰(zhàn)指南

ECC多面解析:內(nèi)存糾錯(cuò)、MBIST測(cè)試與SAP年結(jié)實(shí)戰(zhàn)指南 ECC這個(gè)詞在圈子里絕對(duì)是個(gè)多義詞。搞硬件的看到它第一反應(yīng)是內(nèi)存糾錯(cuò)碼Error Correction Code做芯片測(cè)試的腦子里冒出來(lái)的是MBIST里的ECC校驗(yàn)邏輯而搞企業(yè)信息化的老哥第一時(shí)間想到的卻是SAP ECC那套ERP系統(tǒng)的年度結(jié)賬流程。同一個(gè)縮寫三種完全不同的技術(shù)棧但底層都離不開(kāi)“查錯(cuò)”和“糾錯(cuò)”這兩個(gè)核心動(dòng)作。這篇文章我想把這三個(gè)維度的ECC串起來(lái)聊一聊從糾錯(cuò)碼的原理開(kāi)始講到服務(wù)器內(nèi)存里常見(jiàn)的ECC和 uncorrected ECC error 顯示2 這種告警怎么排查再聊到芯片設(shè)計(jì)里MBIST怎么借助ECC機(jī)制做存儲(chǔ)器測(cè)試最后說(shuō)說(shuō)SAP ECC年結(jié)到底在結(jié)什么、為什么每年都有人在這上面翻車。無(wú)論你是管服務(wù)器的運(yùn)維、寫RTL的芯片工程師、做測(cè)試的還是被財(cái)務(wù)追著問(wèn)“年結(jié)怎么還沒(méi)跑完”的IT支持這篇文章里應(yīng)該都能找到對(duì)你有用的東西。1. ECC的核心邏輯糾錯(cuò)碼到底在糾什么1.1 為什么需要糾錯(cuò)數(shù)據(jù)翻轉(zhuǎn)這個(gè)“小概率大事故”糾錯(cuò)碼這個(gè)概念的誕生本質(zhì)上是因?yàn)橐粋€(gè)很樸素的問(wèn)題數(shù)據(jù)在存儲(chǔ)和傳輸?shù)倪^(guò)程中可能出錯(cuò)。這個(gè)概率在大多數(shù)普通人看來(lái)可以忽略不計(jì)但在大規(guī)模數(shù)據(jù)系統(tǒng)里它是個(gè)必須正視的現(xiàn)實(shí)。拿DRAM內(nèi)存舉例內(nèi)存里的每個(gè)bit本質(zhì)上是靠電容存儲(chǔ)電荷來(lái)區(qū)分0和1的電容會(huì)漏電需要定期刷新。一旦某個(gè)電容的電荷量因?yàn)槟撤N原因發(fā)生異常衰減或者受到外部粒子轟擊導(dǎo)致電荷突變這個(gè)bit就翻了1變00變1。這就是我們常說(shuō)的“位翻轉(zhuǎn)”bit flip。引發(fā)位翻轉(zhuǎn)的因素有很多。一是高能粒子比如宇宙射線轟擊芯片封裝材料產(chǎn)生次級(jí)粒子擊中存儲(chǔ)單元二是芯片本身的老化和電壓波動(dòng)制程越先進(jìn)存儲(chǔ)單元就越小電荷量越少遇到干擾時(shí)翻車的概率就越高三是鄰近單元之間的耦合干擾這也是制程微縮后越來(lái)越頭疼的問(wèn)題。一個(gè)bit翻轉(zhuǎn)如果發(fā)生在普通的圖片、視頻數(shù)據(jù)里頂多花屏或者出現(xiàn)一個(gè)壞像素。但如果發(fā)生在操作系統(tǒng)的內(nèi)核代碼、數(shù)據(jù)庫(kù)的事務(wù)日志、科學(xué)計(jì)算的關(guān)鍵中間結(jié)果里后果就是系統(tǒng)崩潰、計(jì)算錯(cuò)誤、甚至數(shù)據(jù)永久損毀。這時(shí)候就需要一種機(jī)制讓計(jì)算機(jī)能自己發(fā)現(xiàn)錯(cuò)誤、糾正錯(cuò)誤這就是ECC糾錯(cuò)碼存在的意義。1.2 ECC如何工作漢明碼的思路與SEC-DED我們把“糾錯(cuò)碼”拆開(kāi)看核心就兩件事加冗余、算校驗(yàn)。最簡(jiǎn)單的方案是奇偶校驗(yàn)Parity給一組數(shù)據(jù)加1個(gè)bit讓整個(gè)組里1的個(gè)數(shù)是奇數(shù)還是偶數(shù)這樣能發(fā)現(xiàn)奇數(shù)個(gè)bit的錯(cuò)誤但發(fā)現(xiàn)不了錯(cuò)誤在哪兒也糾不了錯(cuò)只能報(bào)“你壞了”。這就像快遞外包裝上貼了個(gè)“是否破損”的標(biāo)簽?zāi)苤老渥涌赡軌牧说恢览锩婺募浳锼榱?。真正讓ECC在內(nèi)存領(lǐng)域普及起來(lái)的是Richard Hamming提出的漢明碼。漢明碼的思路極其聰明不是給整組數(shù)據(jù)加一個(gè)校驗(yàn)位而是把數(shù)據(jù)按不同的位置規(guī)則分組給每組分別計(jì)算校驗(yàn)位這樣這些校驗(yàn)位之間就有了一種“交叉印證”的關(guān)系。當(dāng)某一位出錯(cuò)時(shí)多組校驗(yàn)結(jié)果會(huì)同時(shí)異常通過(guò)比對(duì)各組異常的組合模式就能精確算出是哪一bit翻了從而把它再翻轉(zhuǎn)回來(lái)。以經(jīng)典的漢明碼(7,4)為例4個(gè)數(shù)據(jù)位3個(gè)校驗(yàn)位。校驗(yàn)位分別落在第1、2、4位它們各自覆蓋不同的數(shù)據(jù)位組合。接收端重新計(jì)算校驗(yàn)位并與發(fā)送來(lái)的校驗(yàn)位比對(duì)會(huì)得到一個(gè)叫“校正子”Syndrome的二進(jìn)制值這個(gè)值在二進(jìn)制里代表的數(shù)字就是出錯(cuò)bit的位置。Syndrome為0表示沒(méi)錯(cuò)非0就可以直接對(duì)相應(yīng)位置做取反操作完成糾錯(cuò)。這種只糾正單bit錯(cuò)誤的能力叫SECSingle Error Correction。如果再增加一個(gè)全局偶校驗(yàn)位就能實(shí)現(xiàn)檢測(cè)雙bit錯(cuò)誤即SEC-DEDSingle Error Correction, Double Error Detection這也是現(xiàn)代內(nèi)存ECC最主流的能力基準(zhǔn)。1.3 糾錯(cuò)不是萬(wàn)能的覆蓋范圍與代價(jià)說(shuō)句實(shí)在話ECC并不是魔法它的糾錯(cuò)能力是有邊界的。單bit錯(cuò)誤可以糾正雙bit錯(cuò)誤只能檢測(cè)不能糾正一旦檢測(cè)到不可糾正的錯(cuò)誤系統(tǒng)能做的只是報(bào)錯(cuò)或者直接halt防止錯(cuò)誤數(shù)據(jù)擴(kuò)散。而且糾錯(cuò)能力的強(qiáng)弱和開(kāi)銷是成正比的。校驗(yàn)位越多能糾的錯(cuò)誤越多但存儲(chǔ)開(kāi)銷、編碼延遲、帶寬損耗也會(huì)跟著漲。在存儲(chǔ)系統(tǒng)里如果用復(fù)雜的Reed-Solomon碼或BCH碼可以在NAND Flash等場(chǎng)景下糾正多bit連續(xù)錯(cuò)誤但控制器里的計(jì)算復(fù)雜度遠(yuǎn)高于漢明碼。在DDR內(nèi)存控制器里ECC校驗(yàn)計(jì)算消耗的是訪存延遲在SSD里L(fēng)DPC糾錯(cuò)消耗的是主控的處理能力和前端讀取延遲。所以沒(méi)有哪套機(jī)制是“最好”的只有“在成本、延遲、可靠性之間取得平衡”的方案。理解了這一層后面對(duì)內(nèi)存ECC告警、MBIST ECC測(cè)試邏輯、甚至SAP年結(jié)里的“對(duì)賬”思路就都有了通感的抓手——所有糾錯(cuò)/校驗(yàn)機(jī)制本質(zhì)上都是在冗余成本和錯(cuò)誤風(fēng)險(xiǎn)之間做博弈。2. 內(nèi)存ECC服務(wù)器穩(wěn)定性的第一道防線2.1 Registered ECC與Unbuffered ECC的區(qū)別在服務(wù)器和高端工作站里ECC內(nèi)存幾乎是標(biāo)配。但同樣是ECC內(nèi)存還分Registered ECC簡(jiǎn)稱RDIMM和Unbuffered ECC又稱UDIMM。這兩者最大的區(qū)別在于RDIMM的地址和控制信號(hào)經(jīng)過(guò)寄存器Register緩沖后再進(jìn)入內(nèi)存顆粒數(shù)據(jù)線不受影響所以在同一通道上可以多插幾條內(nèi)存容量能做很大高負(fù)載穩(wěn)定性也更好。UDIMM沒(méi)有寄存器緩沖地址線直接連到內(nèi)存顆粒延遲略低一點(diǎn)點(diǎn)但電氣負(fù)載更大一個(gè)通道能插的條數(shù)很有限一般就2條。從外觀上看RDIMM和UDIMM最明顯的差異是內(nèi)存條中間位置有沒(méi)有額外的寄存器芯片——RDIMM通常會(huì)有幾顆較小的芯片做信號(hào)中繼。兩者的物理防呆缺口位置也不同不能混插。選擇上家用平臺(tái)或入門級(jí)單路服務(wù)器常見(jiàn)UDIMM ECC雙路及以上的服務(wù)器幾乎清一色RDIMM。還有LRDIMM通過(guò)Rank緩沖技術(shù)進(jìn)一步降低負(fù)載適合需要超大規(guī)模內(nèi)存容量的場(chǎng)景價(jià)格也更高。2.2 如何確認(rèn)內(nèi)存是否開(kāi)啟ECC很多買了“支持ECC的主板”的新手以為只要插上ECC內(nèi)存就自動(dòng)開(kāi)啟了ECC其實(shí)并不是。內(nèi)存控制器需要顯式啟用ECC模式并且要和CPU、主板BIOS配合。在服務(wù)器上通常可以在BIOS的Memory Configuration里確認(rèn)ECC Mode是否為Enabled。有些主板里如果同時(shí)開(kāi)啟了Memory Encryption或部分內(nèi)存鏡像功能和ECC可能會(huì)組合出不同的容錯(cuò)策略。進(jìn)了Linux系統(tǒng)后可以用dmidecode查看內(nèi)存條的類型信息。重點(diǎn)關(guān)注兩個(gè)字段Total Width和Data Width。如果Total Width比Data Width多8位比如72位 vs 64位說(shuō)明這根內(nèi)存帶ECC如果兩者一樣都是64位那就是普通非ECC內(nèi)存。dmidecode --type memory | grep -E Total Width|Data Width|Size|Speed|Manufacturer|Part Number如果Total Width顯示72 bitsData Width顯示64 bits那8位的差距就是ECC校驗(yàn)位。Bit 0-63是數(shù)據(jù)位Bit 64-71是校驗(yàn)位。UC和SEC-DED的校驗(yàn)開(kāi)銷不同但72648是業(yè)界最普遍的DDR ECC配置。2.3 uncorrected ECC error 顯示2 是怎么來(lái)的在服務(wù)器帶外管理系統(tǒng)比如IPMI/BMC管理界面或者Linux的EDAC驅(qū)動(dòng)日志里經(jīng)常會(huì)看到類似“uncorrected ECC error count: 2”的信息。這里的關(guān)鍵詞是Uncorrected也就是不可糾正錯(cuò)誤。要理解這條告警先要明確ECC對(duì)錯(cuò)誤的處理路徑。當(dāng)內(nèi)存控制器發(fā)現(xiàn)某個(gè)bit錯(cuò)了并且能算出它是哪個(gè)位置它會(huì)直接在硬件層面修正然后把修正結(jié)果寫回同時(shí)遞增一個(gè)Corrected ECC錯(cuò)誤計(jì)數(shù)。這種錯(cuò)誤對(duì)系統(tǒng)是無(wú)感的業(yè)務(wù)不會(huì)中斷但記多了說(shuō)明內(nèi)存條所在的DIMM可能正在漸進(jìn)性老化。而Uncorrected錯(cuò)誤則是錯(cuò)誤程度超過(guò)了ECC的糾正能力比如一個(gè)數(shù)據(jù)字里同時(shí)出現(xiàn)了兩個(gè)bit的錯(cuò)誤ECC只能檢測(cè)到有錯(cuò)但不知道具體錯(cuò)在哪兩個(gè)位置無(wú)法修補(bǔ)。一旦發(fā)生不可糾正錯(cuò)誤內(nèi)存控制器會(huì)生成一個(gè)機(jī)器檢查異常MCE。在Intel平臺(tái)上這個(gè)MCE可能記錄在Bank 0的MCE日志里同時(shí)通過(guò)IPMI向BMC上報(bào)SEL事件顯示“Uncorrected ECC Error”。那個(gè)“顯示2”通常代表這個(gè)事件已經(jīng)被記錄并且累計(jì)了2次??吹健皍ncorr. ecc 顯示2”第一反應(yīng)不應(yīng)該是“繼續(xù)用吧反正沒(méi)崩”而是立刻按下面流程處理先確認(rèn)錯(cuò)誤地址和關(guān)聯(lián)的DIMM槽位。通過(guò)IPMI SDR記錄、Linux的ras-mc-ctl --summary或者直接看 /sys/devices/system/edac/mc/mc*/csrow*/dimm_label。如果機(jī)器還在運(yùn)行盡快規(guī)劃維護(hù)窗口。因?yàn)槊恳淮蜺ncorrected錯(cuò)誤都是一次數(shù)據(jù)完整性事故下次可能直接造成文件系統(tǒng)損壞或進(jìn)程core dump。定位到具體DIMM后優(yōu)先做內(nèi)存條交叉驗(yàn)證把疑似故障條換到另一個(gè)槽位跑MemTest86壓力測(cè)試確認(rèn)是槽位問(wèn)題還是條子問(wèn)題。檢查散熱和供電。我遇到過(guò)一臺(tái)機(jī)器頻繁報(bào)uncorrected ECC換了內(nèi)存也沒(méi)用最后發(fā)現(xiàn)是CPU散熱器沒(méi)裝好內(nèi)存控制器過(guò)熱導(dǎo)致存取時(shí)序漂移。提示不要忽視單個(gè)Uncorrected ECC錯(cuò)誤。很多服務(wù)器里內(nèi)存故障的典型路徑就是“開(kāi)始報(bào)corrected - 錯(cuò)誤頻率上升 - 某天報(bào)uncorrected - 系統(tǒng)直接hang死”。從第一個(gè)Uncorrected事件開(kāi)始就已經(jīng)進(jìn)入故障處理流程了。3. 芯片設(shè)計(jì)中的MBIST ECC還沒(méi)出廠就把錯(cuò)誤揪出來(lái)3.1 為什么要做MBIST芯片內(nèi)部集成越來(lái)越多的SRAM用于緩存、FIFO、寄存器堆。到了先進(jìn)制程時(shí)代一顆SoC里SRAM的面積占比可以超過(guò)50%甚至到70%。這些片上存儲(chǔ)分布在芯片的各個(gè)角落數(shù)量多、密度大、頻率高但芯片封裝之后沒(méi)有那么多測(cè)試引腳可以直接訪問(wèn)每一塊SRAM。于是就有了MBISTMemory Built-In Self-Test把測(cè)試邏輯直接做進(jìn)芯片內(nèi)部。MBIST控制器和被測(cè)SRAM之間通過(guò)專用的測(cè)試端口連接測(cè)試時(shí)由控制器自己產(chǎn)生地址、數(shù)據(jù)、控制信號(hào)遍歷整個(gè)存儲(chǔ)陣列把讀回的數(shù)據(jù)和預(yù)期值比對(duì)一旦不一致就記錄失敗信息。MBIST的好處在于它不需要外部測(cè)試機(jī)去精確驅(qū)動(dòng)每個(gè)內(nèi)部信號(hào)只需要外部通過(guò)JTAG或IEEE 1500接口發(fā)送一條“開(kāi)始測(cè)試”的指令然后等結(jié)果。這樣測(cè)試成本大幅降低而且能在系統(tǒng)級(jí)測(cè)試、老化測(cè)試、甚至現(xiàn)場(chǎng)上電自檢時(shí)反復(fù)使用。3.2 MBIST如何與ECC配合MBIST和ECC其實(shí)是兩個(gè)不同層面的事MBIST是“測(cè)試手段”ECC是“防護(hù)機(jī)制”。但兩者在現(xiàn)代芯片設(shè)計(jì)里緊密配合。MBIST測(cè)試時(shí)通常并不依賴ECC去糾正錯(cuò)誤反而要繞過(guò)或禁用ECC這樣才能暴露出存儲(chǔ)單元最真實(shí)的物理缺陷。如果讓ECC在旁邊“幫忙”糾錯(cuò)MBIST可能測(cè)不出那些已經(jīng)存在但被掩蓋的故障單元生產(chǎn)測(cè)試就失去了意義。所以標(biāo)準(zhǔn)做法是MBIST模式下通過(guò)測(cè)試模式控制信號(hào)把ECC路徑旁路掉直接讀寫原始的數(shù)據(jù)和校驗(yàn)位。某些更高級(jí)的MBIST設(shè)計(jì)會(huì)把ECC校驗(yàn)邏輯作為被測(cè)對(duì)象的一部分來(lái)測(cè)試。因?yàn)镋CC的編碼、解碼、校正邏輯本身也是復(fù)雜邏輯電路萬(wàn)一編碼器有問(wèn)題即使存儲(chǔ)單元沒(méi)壞也會(huì)檢測(cè)出錯(cuò)。所以測(cè)試序列里會(huì)專門安排一組驗(yàn)證步驟往特定地址寫入可控?cái)?shù)據(jù)讀取時(shí)插入一位邏輯錯(cuò)誤然后檢查ECC校正電路能否正確糾正。MBIST在診斷方面的能力也很強(qiáng)。通過(guò)失敗日志可以記錄每一個(gè)發(fā)生故障的邏輯地址、數(shù)據(jù)模式和預(yù)期數(shù)據(jù)模式。把這些數(shù)據(jù)導(dǎo)出來(lái)做bitmap分析工程師能精確判斷是哪一根字線、位線、sense amplifier出了問(wèn)題。這對(duì)于新品調(diào)試和良率提升至關(guān)重要產(chǎn)線分析出來(lái)的故障模式直接反饋給工藝部門改進(jìn)。3.3 可測(cè)試性設(shè)計(jì)要點(diǎn)真正做芯片測(cè)試規(guī)劃時(shí)有幾點(diǎn)經(jīng)常被忽視我在這里提一下MBIST控制器要在低功耗模式下也能運(yùn)行。很多車規(guī)、IoT芯片需要在生產(chǎn)老化測(cè)試和板級(jí)測(cè)試時(shí)進(jìn)入低功耗自檢狀態(tài)這時(shí)候如果MBIST把整個(gè)SRAM功耗拉滿會(huì)導(dǎo)致測(cè)試芯片超過(guò)溫度規(guī)格觸發(fā)誤翻。在SoC集成多個(gè)SRAM時(shí)要合理分組成多個(gè)MBIST域BIST Domain并行測(cè)試不同域可以縮短整體測(cè)試時(shí)間但會(huì)帶來(lái)瞬時(shí)功耗沖擊。每個(gè)域的規(guī)模和控制策略需要仔細(xì)權(quán)衡。Repair機(jī)制是MBIST產(chǎn)線的自然延伸。檢測(cè)到故障后會(huì)通過(guò)內(nèi)建自修復(fù)BISR把前述故障行/列替換成冗余行/列修復(fù)結(jié)果記錄到eFuse。所以很多芯片標(biāo)稱“有MBIST”實(shí)際量產(chǎn)時(shí)跑的是“MBIST - 分析失效地址 - 冗余替換 - 重測(cè)驗(yàn)證”的完整閉環(huán)。用來(lái)輔助MBIST的ECC必須和產(chǎn)品正常模式用的ECC策略一致。如果產(chǎn)品宣稱具備SEC-DED能力那么MBIST對(duì)校驗(yàn)位區(qū)域的測(cè)試也要覆蓋不然校驗(yàn)存儲(chǔ)器本身有缺陷運(yùn)行時(shí)會(huì)直接生產(chǎn)錯(cuò)誤。4. SAP ECC年結(jié)ERP老系統(tǒng)的年度關(guān)賬4.1 SAP ECC是什么為什么還有人說(shuō)起它如果把話題切換到企業(yè)信息系統(tǒng)SAP ECC全稱是SAP ERP Central Component是SAP上一代旗艦ERP套件的核心組件。雖然SAP現(xiàn)在主推S/4HANA但現(xiàn)實(shí)中還有大量企業(yè)在繼續(xù)運(yùn)行SAP ECC系統(tǒng)尤其制造業(yè)、醫(yī)藥、能源行業(yè)系統(tǒng)里積累了幾十年的主數(shù)據(jù)、定制化增強(qiáng)代碼和復(fù)雜接口遷移成本極高?!癝AP ECC年結(jié)”在財(cái)務(wù)顧問(wèn)和IT運(yùn)維的口中就是財(cái)務(wù)年度結(jié)賬Year-End Closing。ERP系統(tǒng)不像普通財(cái)務(wù)軟件季度關(guān)了季度年終結(jié)轉(zhuǎn)賬很麻煩。它涉及資產(chǎn)折舊、總賬余額結(jié)轉(zhuǎn)、利潤(rùn)中心結(jié)轉(zhuǎn)、物料賬結(jié)算等一系列模塊之間的聯(lián)動(dòng)A步驟沒(méi)跑完B步驟就是跑不過(guò)去。每年12月底到次年1月初都是一批財(cái)務(wù)顧問(wèn)和IT支持守在機(jī)房蹲年結(jié)的日子。4.2 年結(jié)的關(guān)鍵步驟與實(shí)操要點(diǎn)年結(jié)在SAP里并不是單一事務(wù)代碼能搞定的而是一連串的順序操作。以最常見(jiàn)的資產(chǎn)會(huì)計(jì)FI-AA年結(jié)為例核心步驟分兩塊一是資產(chǎn)公司年末結(jié)賬。先用事務(wù)代碼AJRW運(yùn)行“資產(chǎn)年度余額結(jié)轉(zhuǎn)”或叫“余額結(jié)轉(zhuǎn)”把本年度資產(chǎn)的購(gòu)置值、累計(jì)折舊、賬面凈值結(jié)轉(zhuǎn)到新會(huì)計(jì)年度。然后事務(wù)代碼AJAB執(zhí)行資產(chǎn)會(huì)計(jì)年度最終關(guān)賬。很多公司遇到的“結(jié)不了賬”問(wèn)題都卡在AJAB這一步因?yàn)橄到y(tǒng)會(huì)檢查是否存在未折舊的資產(chǎn)、未過(guò)賬的采購(gòu)訂單、未結(jié)清的資產(chǎn)主數(shù)據(jù)等等任何一個(gè)校驗(yàn)沒(méi)過(guò)AJAB都會(huì)報(bào)錯(cuò)。二是總賬余額結(jié)轉(zhuǎn)。事務(wù)代碼FAGLGVTRSAP ECC 6.0或F.56把總賬科目的余額結(jié)轉(zhuǎn)到下一年度。執(zhí)行時(shí)要注意必須先把所有12月的會(huì)計(jì)憑證全部過(guò)賬完成把應(yīng)收應(yīng)付、存貨、損益類科目余額都結(jié)轉(zhuǎn)到對(duì)應(yīng)科目之后才能跑這一步否則結(jié)轉(zhuǎn)出來(lái)的余額就是錯(cuò)的。實(shí)操里我看到過(guò)幾個(gè)典型的翻車點(diǎn)過(guò)賬期間沒(méi)開(kāi)。年度切換后OB52里新年度過(guò)賬期間沒(méi)有及時(shí)打開(kāi)所有跑到新年的憑證都會(huì)報(bào)“期間未打開(kāi)”的錯(cuò)誤。資產(chǎn)年結(jié)前忘了跑折舊。資產(chǎn)折舊沒(méi)跑完AJAB會(huì)提示資產(chǎn)存在未折舊的情況讓你先回上月折舊期間跑AFAB。把測(cè)試數(shù)據(jù)和正式數(shù)據(jù)混了。年結(jié)前一定要用測(cè)試環(huán)境完整跑一遍年結(jié)腳本拿測(cè)試結(jié)果給財(cái)務(wù)確認(rèn)科目余額是否正確再在正式系統(tǒng)里操作。我見(jiàn)過(guò)有人跳過(guò)了測(cè)試直接在PRD里跑AJRW結(jié)果資產(chǎn)余額出現(xiàn)巨大差異只能做沖銷再來(lái)。4.3 一個(gè)成熟的年結(jié)檢查清單下面是我總結(jié)的年結(jié)前檢查清單分享給正在準(zhǔn)備年度結(jié)賬的同行每條背后都有踩坑的代價(jià)確認(rèn)所有12月期間的外幣評(píng)估、應(yīng)收應(yīng)付重分類、GR/IR清賬等周期性任務(wù)已經(jīng)完成。檢查AJAB運(yùn)行日志里的每一個(gè)錯(cuò)誤提示紅色報(bào)錯(cuò)全部處理后重新跑黃色警告要逐條評(píng)估是否影響結(jié)賬結(jié)果。總賬余額結(jié)轉(zhuǎn)前導(dǎo)出各科目的期末余額表和財(cái)務(wù)手工編制的科目余額表對(duì)照一致后再運(yùn)行。結(jié)轉(zhuǎn)后抽查幾個(gè)關(guān)鍵科目在新年度里是否已有期初余額尤其往來(lái)科目和存貨科目。注意物料賬ML的年度結(jié)賬流程CKM3N在年結(jié)時(shí)容易報(bào)“物料賬期未關(guān)閉”需要在后臺(tái)物料賬期間控制里同步調(diào)整。提示SAP ECC年結(jié)最怕的是“趕時(shí)間”。財(cái)務(wù)說(shuō)月底必須跑完但你一定不能省流程。先備份再測(cè)試最后動(dòng)生產(chǎn)。任何時(shí)候都要留出一到兩天的緩沖窗口用于處理意外問(wèn)題。5. 排障實(shí)戰(zhàn)從“uncorr. ecc 顯示2”開(kāi)始捋一套思路5.1 一次真實(shí)的內(nèi)存ECC錯(cuò)誤排查流程有一天客戶報(bào)一臺(tái)數(shù)據(jù)庫(kù)服務(wù)器IPMI里有Uncorrected ECC Error事件計(jì)數(shù)顯示2。登錄系統(tǒng)后我先確認(rèn)了操作系統(tǒng)是否信任ECC邏輯# 查看EDAC設(shè)備 ls /sys/devices/system/edac/mc/ cat /sys/devices/system/edac/mc/mc0/ue_count cat /sys/devices/system/edac/mc/mc0/ce_count結(jié)果顯示mc0的ue_count確實(shí)為2ce_count反而不高只有幾十說(shuō)明這顆DIMM有突發(fā)性、不可糾正錯(cuò)誤的風(fēng)險(xiǎn)已經(jīng)比較高了。我隨后用ras-mc-ctl --error-count獲取更詳細(xì)的地址映射ras-mc-ctl --error-count輸出里會(huì)列出哪個(gè)內(nèi)存控制器mc、哪個(gè)csrow和dimm標(biāo)記對(duì)應(yīng)具體物理DIMM位置。服務(wù)器BMC也會(huì)在SEL里記下DIMM槽位號(hào)。處理策略是先和業(yè)務(wù)確認(rèn)可以中斷的時(shí)間然后給服務(wù)器安排一次內(nèi)存壓力測(cè)試。用MemTest86完整跑兩遍如果連MemTest都報(bào)錯(cuò)那這內(nèi)存條基本可以判定為物理故障。之后聯(lián)系供應(yīng)商按保修流程更換。有個(gè)細(xì)節(jié)換完內(nèi)存后不要急著讓系統(tǒng)恢復(fù)正常運(yùn)行。我建議保留EDAC的ue_count清零確認(rèn)一下有些系統(tǒng)需要重啟后reload edac模塊計(jì)數(shù)才會(huì)清零。重啟后如果ue_count繼續(xù)快速增長(zhǎng)說(shuō)明可能是內(nèi)存控制器或者主板布線有問(wèn)題也可能是內(nèi)存條插槽的觸點(diǎn)臟了建議把CPU重新安裝一遍內(nèi)存條換個(gè)插槽再測(cè)試。5.2 MBIST fail怎么追作為芯片測(cè)試工程師處理MBIST FAIL的方法論更依賴數(shù)據(jù)。拿到fail log之后先看失敗地址的分布分析是行分布、列分布還是塊分布。單點(diǎn)失效大概率是粒子缺陷或介質(zhì)擊穿整行失效往往是字線驅(qū)動(dòng)電路損壞整列失效多為位線read/write通路問(wèn)題。這時(shí)候把物理地址映射到邏輯地址很關(guān)鍵。芯片內(nèi)部SRAM通常經(jīng)過(guò)行列地址重映射需要通過(guò)地址展開(kāi)腳本對(duì)照網(wǎng)表確認(rèn)對(duì)應(yīng)的物理單元。之后再結(jié)合bitmap和電鏡分析做缺陷定位判斷是光刻、刻蝕、還是金屬殘留導(dǎo)致。如果是量產(chǎn)階段的MBIST fail還要做良率相關(guān)性分析同一批次wafer里fail die的坐標(biāo)是否存在分布聚集某臺(tái)光刻機(jī)處理的區(qū)域是不是故障率偏高把這些數(shù)據(jù)反饋到工廠往往能快速定位工藝窗口漂移。ECC在這時(shí)候的作用是輔助分析比如修復(fù)后的die重測(cè)仍掛在ECC校驗(yàn)位區(qū)域就需要檢查eFuse冗余行的熔斷是否異常。5.3 年結(jié)報(bào)錯(cuò)如何快速定位SAP年結(jié)報(bào)錯(cuò)分成兩類配置類錯(cuò)誤和業(yè)務(wù)數(shù)據(jù)類錯(cuò)誤。配置錯(cuò)誤通常是年度變式、期間變式、屏幕變式?jīng)]有為新年度創(chuàng)建數(shù)據(jù)錯(cuò)誤則是某些陳舊的主數(shù)據(jù)或未清憑證卡住了流程。定位思路無(wú)非三步看消息號(hào)、查OSS noteSAP官方知識(shí)庫(kù)、做數(shù)據(jù)檢查。比如FIN_AA_YEAR_CLOSE里報(bào)“存在未過(guò)賬的折舊”先到AFAB里確認(rèn)所有折舊運(yùn)行是否都成功再檢查資產(chǎn)過(guò)賬期間有沒(méi)有錯(cuò)誤關(guān)閉。如果是OB52期間錯(cuò)誤直接修改相應(yīng)公司代碼的過(guò)賬期間即可如果是折舊范圍配置缺失可能要在AO11里補(bǔ)充折舊范圍。關(guān)鍵原則是在SAP里“強(qiáng)制關(guān)賬”永遠(yuǎn)是最下策。很多年結(jié)問(wèn)題不是靠強(qiáng)行解鎖跑過(guò)去的而是底層數(shù)據(jù)本身存在錯(cuò)漏該回去改憑證就改憑證該清未清項(xiàng)就清未清項(xiàng)。不要只盯著那個(gè)紅叉告警數(shù)據(jù)正確才是最終目標(biāo)。5.4 排查方法論關(guān)鍵詞到根因的三層定位這幾類問(wèn)題看著風(fēng)馬牛不相及但排障思路其實(shí)是相通的。我把常見(jiàn)做法整理成三層定位法基本通用第一層收斂關(guān)鍵詞?!皍ncorr. ecc 顯示2”里的核心詞是“不可糾正”和“計(jì)數(shù)為2”MBIST fail的“fail address”SAP年結(jié)報(bào)錯(cuò)里的“消息號(hào)”。先明確現(xiàn)象關(guān)鍵詞和相關(guān)模塊。第二層做組件歸因。內(nèi)存到DIMM、MBIST到SRAM陣列、SAP報(bào)錯(cuò)到后臺(tái)配置或數(shù)據(jù)表這一步是把問(wèn)題從“系統(tǒng)層面”縮小到“組件層面”。第三層隔離驗(yàn)證。換內(nèi)存、重測(cè)、跑仿真、重新執(zhí)行年結(jié)事務(wù)代碼確認(rèn)根因假設(shè)。到了這一步大部分問(wèn)題已經(jīng)能定性。這套方法用來(lái)對(duì)付日常的服務(wù)器監(jiān)控、芯片量產(chǎn)異常、ERP年結(jié)運(yùn)維都?jí)蛴昧?。如果拿不?zhǔn)寧可多花一小時(shí)收集數(shù)據(jù)也不要憑感覺(jué)拍腦袋下結(jié)論——這個(gè)經(jīng)驗(yàn)在我多年工作里被反復(fù)驗(yàn)證。結(jié)尾ECC這幾個(gè)字母從內(nèi)存到芯片再到大企業(yè)系統(tǒng)貫穿的其實(shí)是同一種工程思想用冗余換取可靠用校驗(yàn)換取信心。我這些年在服務(wù)器、芯片驗(yàn)證和企業(yè)系統(tǒng)運(yùn)維里來(lái)回穿梭最大的體會(huì)是遇到任何“錯(cuò)誤”“告警”“異?!鳖惖南⒌谝环磻?yīng)都應(yīng)該是記錄現(xiàn)場(chǎng)信息第二反應(yīng)才是動(dòng)手修。很多運(yùn)維同事一看到uncorrected ECC就嚇得直接重啟機(jī)器結(jié)果漏掉了現(xiàn)場(chǎng)日志反而失去了判斷根因的唯一線索很多芯片工程師在MBIST失敗之后不先看bitmap就開(kāi)始盲改測(cè)試流程最后只能靠撞運(yùn)氣解決問(wèn)題浪費(fèi)大量工時(shí)。最后分享一個(gè)小習(xí)慣無(wú)論管理多少臺(tái)服務(wù)器都應(yīng)該在監(jiān)控系統(tǒng)里給EDAC的ce_count和ue_count單獨(dú)建一條趨勢(shì)曲線。ECC錯(cuò)誤的增長(zhǎng)速率比單次錯(cuò)誤值更能反映硬件的健康走向——緩慢增長(zhǎng)大概率是正常老化指數(shù)級(jí)暴增多半是設(shè)備正在走向崩潰。提前發(fā)現(xiàn)趨勢(shì)既能避開(kāi)業(yè)務(wù)中斷也能讓保修流程走得從容許多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产成人午夜视频网址| 国产JDAV无码视频在线观看| 久久9 9 9精品| 无码乱人伦中文视频| 91日韩国产欧美亚洲另类精盘州至城都| 蜜臀AV一区二区三区激情综合| 午夜亚洲国产理论秋霞| 欧美乱伦专区| 老子午夜伦不卡影院| 中文字幕精品探花视频| 亚洲熟妇AV日韩熟妇在线| 五月天婷婷久久| 蜜乳AV免费观看| AV有码在线| 人人澡综合涩| 国产精品对白内射| 亚洲无无码αⅴ每日更新| 天综合网欧美| 成人日韩中文字幕| 大香蕉碰碰| 久久久久免费看少妇A片特黄| 国产精品爱欲| 视频在线观看免费一区二区三区| AVE乱伦| 热热色色综合| 欧美少妇性乱| 四虎884a| 国产视频小说| 91网站在线播放| 97香蕉人人乳| 青青草日本中文字幕| 日韩三级久久久| 婷婷六月色开| 黄片www.| 曰韩av中文字幕专区| 国产三级多多影院2022国产AA一级毛片无码| 天天干18禁| 国产精品大屁股999| 无码久| 97精品国产97久久久久久免费| 日本成人A片免费看| 啊啊啊啊好疼| 啊啊啊水好多| 东京热熟女亚洲视频网站| 天天影视色香色欲| 91 亚洲 欧洲| 欧洲综合视频| 色九九九综合| 超碰天天去日穴| 国产AV天美传媒一区二区三区 | 欧美日日人人天天| 精品日韩产品在线,日韩在线不卡视频,欧美日韩免费专区/久, | 天天肏夜夜肏| 亚洲色婷婷综合久久一区二区三区| 欧美91精彩| 亚洲美女精品| 欧美情色男人的天堂| 精品网站9999| 蜜桃臀av一区二区| 五月天亚洲色图| 日韩综合色图| 一级毛片电影免费看| 尤物视频视频官网| 自慰白浆在线观看| 欧美一级色| 天天爱天天操| 欧美第38页| 四虎AV影视国产精品亚洲精品| 日本天天吊| 67194无码不卡| a男人的天堂| 四虎884a| 欧美色亚洲色| 69国产对白刺激| 人人性爱视频免费| av在线不卡一区二区三区| 免费公开人人操| 岛国视频一二三区| 国产精品一二三在线看| 又黄又爽在线观看视频| 五十路成人在线视频二区三区| 久久大香蕉97| 波多野结衣被操50分钟免费视频 | 狠狠狠狠狠狠| 裸体美女久久久| 激情文学亚洲| 欧美v日韩v亚洲v最新在线| 人人艹亚洲| 97人人干人人操| 九九热男人天堂| 91超碰碰在线| 又大又大又大又粗爽高潮观看| 欧美色视频在线| 丁香色色网| 91人妻超碰| 久久视频,这里只有精品 | 91女网站| 美女黄色91| 亚洲成aⅴ人片不卡无码| 日本在线不卡v二区| 亚洲天堂久久| 青青青青青手机视频| 韩国一级婬片A片无码天美| 国产超碰人人操| 澳门成人网站久国产日韩| 色五月AV在线| 久久精品国产亚洲AV嘿嘿| 91oumei| 天堂av最新电影网| 先锋激情∨在线视频播放| 色婷婷丁香| 60秒免费小视频| 久久久久久久性爱| 黑丝内射一区二区三区| 91色夜| 国产AV毛片| 综合网亚| 久久久无码av精| 精品人妻一区二区免费蜜桃| 国产免费大片| 日本999精品| 亚洲不卡一| jizzjizz欧美| 欧美在线 亚洲| 午夜福利无毒不卡| 91美女视频在线| 日韩电影在线观看网址| 精品网站9999| 人人操人人摸人人看人人干| 18禁久久| 超碰99在线观看| 色综合99999| 欧美日本中字另类在线| 97超碰资源网| 中文字幕一区二区日韩网| 极品粉嫩一区二区| 日本黄色精品专区网站| 大香蕉综合久久| 人人看人人插| 粉嫩久久久久| 柠檬AV导航| 久久熟女嫩草成人片免费| 少妇高潮对白在线观看| 色噜噜人妻av中文字幕| 成人看片网站| 亚洲精品久久久久毛片A片拉屎 | 色情五月婷婷| 中文字幕av亚洲精品| 五月丁香婷婷啪啪| 亚洲国产另类在线中文| 日韩 女同 综合| 日韩成人综合网| 无码高清国产AV| 强奸乱伦麻豆| 国产人妻久久精品一区二区三区| 偷拍欧美激情| 手机在线人成免费视频| 久久久一区二区三区麻豆| 婷婷丁香五月综合| 俄罗斯一区二区视频在线观看| 久久人人爽av亚洲精品天堂桃色| 久久久精品一区二区| 日韩黄色成人性爱| 人人看黄色视频| 天美传媒av一区二区| 国产精品亚洲免费| 蜜臀久久99精品久久久久久-DVD| 婷婷五月天久久精品视频一区二区三区| av激情亚洲五月天| 天美av在线观看| 免费岛国一级片| 大香蕉宅男伊人| 国产又色又爽又舒服的三级视频 | 欧美大香蕉久| 国际精品久久久| 爽爽歪在线视频| 欧美性生活免费网| 女性91网站| 色在线69堂| 丁香六月婷| 日韩色| 日韩射精| 久久久免费高清中文视频| 亚洲AV免费在线观看| 国模不卡| 91人妻爽爽人人做人人澡| 欧美一级久久久丰满| 超碰在线日韩一区| 午夜精品久久久久久久| 午夜天堂精品久久| 不卡码视频| 天天射,天天操,天天爽-国内精品一区二区三区-成人AV | 蜜臀一区二区三区在线| 一本一道久久综合久久| 老熟女区| 韩国女主播青草福利视频| 人人看人人摸人人色| 国产v片在线免费观看| 欧美天天搞| 亚洲影视第一页| 久久精品老司| 麻豆婷婷成人一二三| 免看60秒涩涩视频| 欧美极品少妇| 一区二区无码视频| 国产AV线| 怡红院久久老司机| 天天操熟妇| 97超碰这里只有精品| 91大神电影天堂| 欧美淫穴| 伊人99热| 婷婷中文字幕| 激情五月天色播| 人妻精品视频一区二区| 九九探花视频在线观看| 91丨豆花丨熟女| 中文字幕久久婷婷丁香五月天| 大香蕉视频啪啪啪啪| 性高潮久久久| 殴美性天天| 欧美 亚洲| 激情另类激情| 亚洲精品九九九| 亚洲欧美情色| 精品久久无码午夜福利| 蜜乳成人AV| 人妻一区二区三区视频| 福利伊人玖玖国产| 六月婷婷综合| 欧美天天综| 97久久精品国产| 久久中文色图| 久久精品中文| 精品人妻久久久| 超碰碰97资源站| 欧美 亚洲 在线| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师黑人潮喷一 | 伊人视频| 欧美综合中文| 蜜桃久久一区二区| 久久大| 999精品国产高清一区二区| 97天天摸天天爽| 国产精品点击进入在线影院高清| a片 xxxx受爽视频| 超碰97人人cao| 亚洲欧洲综合av在线| 国产精品呦一区二区三区| 国产亚洲精品自在线亚洲情侣| 久久久国产三级黄色片| 国产黄色动态精品| 一本色道久久综合亚洲二区三区| 好一吊区二区| 久久 精品| 人人操人人舒服| 强奸乱伦大香蕉网| 欧插网站| 黑人性暴力毛片| 91香蕉国产尤物视频| 日韩在线欧美精品一区二区| 丁香六月婷婷久久综合| 欧美国产成人在线| 精品黄色电影| 久久婷婷五月天| 久久蜜色情在线视频xxx免费观看| 欧美体内射精| www.91逼逼.com| 东京热亚洲一区二区| 久久精品老司| 97在线免费视频| 国产熟女乱论| 男女91| www.人人摸在线视频| 在线日韩精品一区二区三区| 日本天天色| 中文字幕十五区| 97av在线观看| 99热成人| 九七超碰人人乐| 午夜福利精品| 国产专区路线| 张柏芝国产一区在线观看| 看黄片视频免费| 欧美综合色站| 97色碰| www.99在线| 狠狠躁日日躁夜夜躁A| 手机看片91人妻| 五月丁香婷婷色| 91N综合网在线| 免费一级精品啪啪视频| 熟女一区二区| 乳欲人妻办公室奶水| 怡红院怡春院| 日韩有码 一区二区三区| 夜夜一区二区| 日日夜夜精品视频| 日韩AV中文字幕电影| 天美传媒AV在线| 免费看一级a性色生活片久久无| 欧美久久久15P| 中文字幕在线免费观看 | 97人人夜| 91精品久久久久久77777| 我想要啊 啊 啊| 人妻丰满熟妇一区二区三| 夜夜操av亚洲一区二区| 1769一区| 免费农村成人少妇人妻Aa一区二区视频| 狠狠爱夜夜| 五月婷在线| 在线洲亚线| 九九亚洲视频| av激情亚洲五月天| 熟女自慰久久久| 99e久久国产精品| 国产精品久久久蜜臀| 国产真实子伦对白| 欧美成人综合| 免费一级毛片在线视频观看| 久久久久99999| 久久久久久久久久久六六| 欧美日韩中文字幕人妻| 免费的av网| 少妇厨房愉情理伦片bd在线观看| 91美女视频在线| 欧美日韩国产中文精品字幕自在自线 | 九九九九免费| 91最新综合| 色操逼网| 无码二级三级| 九九久久久九九| 一级@啪啪视频| 亚洲精品黑丝| 91日日| 国内自拍 日韩激情 99| 大香蕉伊人75| 亚洲色图加勒比| 操迟操逼在巾线Fre看| 在线 欧美 亚洲| 欧美精品人妻视频| 日本视频一区二区三区| 日韩欧美日韩| 人妻无码一区二区三区久久99| 极品极品色影院| 天天看夜夜看日日干| 欧美人人天天网| 久久99久久99精品免视看婷婷| 亚洲福利影院一区久久| 午夜精品久久久99热蜜桃的功能特点| 婷婷情色综合网| 国产乱伦性爱AV| 国产肏逼网站| 成人怡红院| av线电影| 青青操在线亚洲视频观看欧美在线| 成年人黄色小视频网站| 亚洲男人天堂网| 99热国产| 色拍偷亚洲| 婷婷亚洲中文字幕在线| 伊人色综合网电影| 日韩欧美一级特黄大片| 国产1024在线播放| 日夜精品| 这里都是精品| 一区二区播放| 热热色色综合| 日日做夜狠狠爱欧美黑人| 久久午夜伦| 欧美日韩性爱操大逼| 色哟哟 日韩精品| 91老司机精品| 天美传媒麻豆一区二区三区国产精| 亚洲精品1区| 美女人妻色网站| 日本日逼视频网| 伊人久久综合影院| 91久久九九精品国产综合| 综合久久2017| 色香av| 91狠狠狠| 色97欧美| 日本亚欧爱爱| aV中文麻| 国产高清亚洲日韩一区| 欧美美女视频| 亚洲高清视频在线免费观看| 99久久久无码国产精品性啊聊| 中文字幕一区二区三区四五区| 91精品人妻五十路| 偷拍亚洲情色| 欧亚日韩一区在线| 97爱| 国产午夜精品理论片一二三区区| 日本在线观看网址| 国产亚洲精品久久久久小| 国产亚洲精品A在线观看下载| 国产成人在线观看网址| 内射夫妻三片| 精品无码不卡视频| 国产亚洲精品av一区| 国产精品人人爽人人做可爱福利| 国产精品女生av| 狠狠操夜夜| 97欧美性爱| 最新啪啪视频| 婷婷91| 95人妻爽爽人人做人人澡| 这里只有精品视频在线| 91女人的网站| 国产地址二三| 欧美专区17页| 青草精品视频日本久久久久网站在线| 精品久| 极品国产内射| 国产福利在线视频网站| 婷婷操逼| 97欧美精品综合| 有码色中文字幕在线观看| 在线观看视频91| 九九人妻| 日韩精品午夜操呦呦不卡影院| 舔人妻中文免费视频| 人人操人人肉久久精品| 久久国产AⅤ| 日韩精品 视频一区二区| 色婷视频| 东京热99999| 成人性生活高清视频在线播放| 无码不卡八戒| 国产福利影视| 亚州乱码中文字幕综合久久久| 校园春色综合香蕉| 亚洲资源站| 欧美一区二区三区入口| 亚洲综合97中文网| 啊啊啊好疼| 9久精品| 日本视频一区二区三区| 久视频在线观看| 欧美激情亚洲情色| 国产二区三区免费视频| 黄色av一区二区在线| 三级片大波波| 999久久久国产精品| 欧美日韩性爱电影在线| 尹人大香蕉视频在线| 欧美韩国你懂得在线| 国产又粗又长又大的视频| 在线观看不卡一区二区三区| 超碰99在线| 久久久久921| 一起草高清无码| 国产成人bd在线观看| 一区中文字幕二区日韩| 亚洲国产97| 无码人妻丰满热妇又大又粗| 色大师网站www永久网站视频| 精品人妻丰满熟妇一区二区三| 欧美亚洲色图另类国产| 精彩国产视频播放1区2区| 久草这里只有精品| 激情五月天丁香社区| 丝袜美女诱惑 91 视频| 天天干天天舔| 亚洲中文电影| 欧美日韩黄片精品在线| 亚洲丝袜天堂| 精品无码秘 人妻一区二区| 日韩午夜精品一区二区三区电影| 人妻精品4K4K4K4K4| 人妻色情天天操| av无码av无码专区| 免费亚洲国产精品久久一区| 成人一级性爱| 亚洲视频二区 | 亚洲欧美天堂| www.天天干| 欧美综合网站999| 99久久久久久久久| 人妻喷水| 色色五月婷| 亚洲午夜福利在线影院| 色综合久久夜色精品国产天堂| 国内精品嫩模A∨私拍小视频| 天美传媒一二三区永久网站| 夜夜嗨视频| 国内精品不卡无毒99999| 91丝袜在线观看| 91美女视屏| 啊啊啊啊啊啊在线| 日本欧美成人片AAAA| 欧亚日韩中文在线| 亚洲熟女乱色| 国产又色又粗又黄又爽| 麻豆 亚洲 97| 亚洲欧美精品福利在线| 亚洲AV色图| 亚洲 图片 综合91| AA级电影三区| 青青久久久| 色五月网址| 亚洲成a人v欧美综合天堂下载| 天天摸夜夜摸| 特级丰满少妇一级AAAA爱毛片| 伊人在线大香蕉视频久久| 青青操轻轻| 青草地一本线一区二区三区| 九九久久久九九| 久久亚洲欧美中文字幕国语 | 久久国产成人精品国产成人亚洲| 精品一区二区三区四区女| 八戒无码国产午夜福利| 久久黄黄黄| 大香蕉手机在线视频| 热久久国产| 日本幼女18+| 午夜呻吟欧美| 欧美成人一区二区三区在线播放| 91精品91久久久久77777俄罗斯老妇姓x| 免费的av网| 操逼视频免费日韩无码| 亲子敌伦对白在线播放| 亚洲精品黑丝| 欧美五区| 亚洲中文字幕97久久精品少妇| AV天堂国产| 9精品久久| 亚洲啪啪视频一区二区| 韩日欧亚a级| 人妻在线大香蕉| 99色视频| 激情视屏国产乱伦强奸| 天天看精品动漫视频一区| 99re6在线视频精品免费完整版安卓版| 激情五月天色播| 手机在线播放国产福利| 精品九九| 蜜臀网 一区| 日本精品性生活久久久| 亚洲国产欧美日韩精品一区二区三区,国产一区二区三区在线看片,欧美性猛交 XXX | 一色网男人的天堂| 麻豆国产免费影片| 91精品女厕偷拍视频| 91久久青青草原精品| 国产天天噜一噜久久久| 中文久久96| 粉嫩国产精品久久久| 大香蕉啪啪啪| 无码自拍SM| 97人人操人人摸人人爱| 国产一区二区成人av在线播放| 精品人妻一区二区三区四区| 青青草国产一区二区三区| 亚洲人妻熟妇三十三区| 天天色香欲综合网| 天天躁日日躁AAA片李宗瑞| 思思热国产高清| 国产激情在线| 亚洲图片第一页| 中国熟女91| 红杏大香蕉| 99色婷婷| 日本久久精品| 凹凸视频特色日本特黄| 96久久精品一二三区色欲| 久操网视频| 精品欧美А∨无码黑人大荫蒂| 很很干很很操| 久草大| 国产一区二区啪啪视频| 日韩性爱小视频在线观看| 亚洲日韩美女中文字幕乱| 国产精品 久久久精品一牛| 亚洲欧洲激情卡通另类文学四射小说网站 | 91影视亚洲| 免费97视频| 午夜久久久| 骚货操死你| 中文字幕一区二区三四五区日日骚| 欧美亚洲厕所精品偷拍91 | 淫荡少妇免费| 色综合久| 啊啊啊啊啊啊啊国| 久久亚洲熟妇在线视频| 91殴美大片| 久久久久网站-538在线视频-欧美永久乱码 | 91粉嫩萝控精品福利网站_精品影音先锋国 | 青青五月天| 搡老女人老91妇女老熟女| 成人免费性爱视视| 2019久久久久久久久福利| 亚洲成熟国产精品美女| 色五月婷婷五月天| 蜜臀久久99精品久久久久免费观| 91综合国产精品| 黑人综合色| 少妇熟女一区二区三区| 日韩簧片免费看| 日本色色色视频| 免费看一级a性色生活片久久无| 人妻少妇一区二区| 三级网站超变态精品| 学生妹天天看| 特色a在线上| 国产成年女人免费视频播放a| 男人a天堂手机在线版| 99热精品在线播放| 91美女在线精品视频| 欧美 亚洲 91| 天天综合网91| 91精品伊人久久久大香线蕉91| 九九综合久久| 97操97色| 久久精品久久久久久久| 亚洲精品一二区| 九九色综合| 久久色一区二区| 精品免费囯产一区二区三区 | 亚洲丁香花色| 足交视频老司机| 久久久九九九| 久久婷婷亚洲| 国外91| 久9re热视频这里只有精品| 天天看,天天做| 91美女在线视频| 国产免费内射视频| 特级丰满少妇一级AAAA爱毛片| 亚洲欧美国产日本一区二区三区| 97视频7| 91人人| 亚洲aV无码成人在线观看| 亚洲精品天天影视综合网 | 男人天堂综合| 日韩av无码网站| 五月天开心网| 后入式五六区| 超碰在线观看av不卡| 91是天天| 九九九九九精品| 亚洲天堂 视频你懂的| 色www精品视频在线观看| 亚洲无码精品AV久久久| 国产超碰在线| 婷婷10月天青娱乐| 国产超碰| 欧美亚洲韩国视频十五区| www.av在线视频| 岛国人妻少妇av在线观看| 日韩三级伊人| 久久国产精品91| 欧美 亚洲| 精品视频久久久久九九九九9999| 麻豆色99999| 中文字幕在线高清男人的天堂| 欧美亚州色的图| 精品久久久久久中文| 国产乱人妻精品入口| 白丝AV| 中文字幕在线观看丝袜| 2020中文字幕在线观看| 欧美色五月| 欧美97色| 视频在线观看一二三区| 神马九九| 日韩激情视频| 狼狼色丁香久久婷婷综合五月 | 国产黄色视频久久| 青青草十区九区爱夜| 欧美日韩大香蕉| 青青草视频久久久久| 伊人操你| 久久骚| 亚洲欧美日韩夜夜| 精品人妻一区二区三区在线视频不卡| 久久国产三区| 一区二区精品日韩欧美在线观看 | 国产精品一区二区三区,亚洲综合| 男人的天堂在线| 91动漫操逼视频| 情色图区| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 91麻豆天美国产欧美日| 国产精品国产亚洲区艳妇糸列| 刺激性视频黄页| 成人麻豆av电影网站| 97久久国产亚洲精品超碰热| 大香蕉五月天婷婷| 日韩三级伊人| 国产精品天干天干综合网麻豆| 大伊香蕉在线视频免费| 91亚洲人| 欧美日韩青操| 无码天天操| 九9热伊人| 精品久久99| 国语对白露脸XXXXXX| 国产亚洲日本| 色综合av男人天堂| 91操熟女| 日韩中文字幕宗合在线| 九色97| 亚洲导航深夜福利| 日韩精品-原创伙伴| 爱啪精品一区| 99性爱| 人妻中文字幕精品无码| 麻豆精品.欧美精品.日韩精品.| 欧美美女在线高潮999| 国产高清无码一区二区三区四区皇冠| 欧美精品宗合| 90后后入| 日本一天色道久久久精品视频| 中文字幕黄色片| 宅男影院久久久,99| 综合亚州欧美| 超碰98综合网| 91亚洲不卡一区| 人妻熟女av国产网站| 狠狠色伊人亚洲综合网站色| 极品人妻少妇综合| 久久久久久久六六 | 丝袜翘臀后入欧美校园亚洲自拍另类小说一区中文字幕少妇诱惑 | 国内三级自拍小视频在线观看| 性无码专区2020| 淫纸中9区| 欧美91网站| 国产精品九9| 狠狠操狠狠| 欧美三级中文字幕hd| 亚洲精品乱码线路中文字幕| 亚州性色| 91情色在线| 国产熟妇一区二区| 欧美另类自拍| 嗯……啊…嗯嗯…啊…好舒服| 亚洲精品亚洲人成在线麻豆| 国产精品白丝在线播放| 91成人18| 日本色日夜干| 9久久久久| 加勒比综合88| 男同专区一区二区三区在线| 四虎884| 熟女五十路一区二区三| jizz啪啪| 精品人妻视频入口| 综合影院永久入口国产| 99久久亚洲精品无码毛片潘甜甜| 九九AV| 99999精品| 国产精品人妻无码久久久互動交流| 色综合天天爱去电影网| 久久久啊啊啊| 好一吊区二区| 欧美色图第一页| 国产女人视频三四五区| 天天看夜夜看日日干| 人人搞人人插人人操| 综合伊人网12色| av激情亚洲五月天| 中日韩免费看男女操逼大全| 亚洲无码偷拍| 亚洲 欧美 制服 另类 自拍| 亚洲国产奇米影视久久| 久久精品店| 国产日韩欧美三级片| www久| 久久久精品日本一道| 中文字幕91综合| 欧美一区二区在线资源| 精品人妻一区二区乱码一区二区| 欧色性第一页| 精品丰满熟妇人妻一区| 天天综合-91入口| 精品国产三级av韩国在线| 亚洲欧美综合区自拍另类| 中文字幕亚韩| 九九内射在线| 欧美色图私拍91| 精品美女久久一二三| 色香网| 国产精品农村妇女| 一级特黄aaa大片在线观看成人一级片在线观看 | 国产精品免费1区2区视频| 午夜啪啪片| 五月天婷婷基地| 夜夜操av亚洲一区二区| 欧美色自拍| 日韩啪啪视频| 久久久免费的精品| 口爆综合网| 啊啊啊不要啊啊受不了了视频在线 | 97精品国产手机| 欧美视频一区二区三区| 秋霞Av理论一级在线| 欧美精品日韩久久久九 | 91中出在线| 97干在线| 五月天黄色激情视频| 精精夜夜| 国产夫妻性生活视频| 国产午夜精品理论片一二三区区| 国产尤物AV尤物在线观看不卡| 在线观看一卡二卡| 久久久免费懂色| 97亚洲精品| 日本精品高清一二区一本到| 欧美中文字幕男人天堂久久精品| 九九九热精品| а√天堂资源官网在线资源| 啊视频在线| 欧美A√综合网| 99国产精品| 亚洲熟女中文字幕在线| 日日骚 av| 97超碰久久| 亚洲av强奸乱伦| 亚洲和欧美裸体美女双飞视频| 色欧美综合| 国产精品亚洲一区二区三区四区| 丝袜无码a片| 97超碰色色| 大香蕉综合在线| 97视频在线视频| 亚洲日本激情| 射丝袜高跟鞋99| 久久 精品| 国产三级资源在线观看| 美女诱惑爱爱| 操熟女91| 啪啪综合网| 国产91丝袜 在线播放| 亚洲AV无码黄色强奸| 精品免费国产二区三区 | 日本午夜久久电影| 五月天亚洲网| 亚洲第一无码播放立川理惠| 91 亚洲情侣偷拍 久久| 久久久久久亚洲Av无码精| 亚洲欧洲小说图片视频| 天天天干977| 97人人模人人爽人人| 另类图片五月| 91精品国产91综合久久蜜臀| 久久午夜伦| 天堂成人网| 狠狠久久亚洲欧美专区| 成人性交免费视频| 五月丁香六月激情综合| 天天久久| 精品国产乱码久久久久久久久1 | 把腿张开老子CAO烂你| 精国久久一区二区三区98| 99国产在线 精品 视频| 欧美999999| 日韩一性一交一A片俄罗斯| 白丝在线一区| 偷窥自拍A片| 九九精品网| 国产免费大片| 久久精品福利影院| 国产美女激情| 99久久精品无码一区二区| 啊啊啊啊啊好舒服视频| 风流老熟女一区二区三区l| 91黄射| 男人的天堂不卡一区二区| 亚洲色图欧美色图另类图片| 骚乳在线| 国产精品一区午夜福利| 国产成人啪一区二区| 中亚精品极乱| 岛国1区2区3区在线观看| 亚洲成人妻日韩在线| 国产大学生高潮在线播放| 天天色欧美| 色盈盈影院| 98人妻精品一区二区色欲| 女人一区| 欧美精品日韩一区二区| 男人天堂2017| 人人噜夜夜操| 婷婷啪啪| 成人无码电影在线观看网| 9ⅰ久久久天天| 亚洲欧美激情另类色图| 嗯啊视频免费在线观看| 91热热色| 蜜臀久久在线视频| 午夜福利视频在线一区| 国产精品人妻免费精品| 中文一区二区| 亚洲综合色男人网| 俺去啦俺来也久久综合| 9久久美女首页| 开心五月婷婷激情| 精品久久无码午夜福利| 97 国产精品| 亚洲欧美九九九| 777奇米影视777四色| 高清有码一区二区| 中国韩国明星一极片一区乱码毛片人妻熟女一区二区三区 | 大地资源在线观看中文第二页| 欧美一区二区三区不卡高清视频| 欧美色图在线视频少妇| 久久久久中出| 亚洲欧美经典一区二区| 国产一级137片内射麻豆| 青青青在线高清视频在线一二三四区 | 亚洲女人毛茸茸91| 激情图片亚洲色图| 五月激情小说| 欧美日本国产日韩激情视频| 欧美成人免费在线观看| 久久久月天| 亚洲情色一区二区三区| 精品免费一区二区三区在线亚洲人成 | 日日干日日操五月天伦理视频| 欧美极度丰满熟妇hd| 国产a片操逼| 日韩情色一区二区| 天天操妹子| 精品人妻伦一区二区三区久久| 曰本精品久久久| 国产按摩一区二区三区| 国产免费一区在线观看| 久干9操| 国产乱色国产精品免费视| 加勒比海色香蕉婷婷| 视频在线97| 久久久91福利姬| 欧美少妇高潮久久91| 欧美日韩国产男人| 一区二区三区男女操逼黄色小电影| 婷婷五月天色色| 国产午夜激片Av毛片不卡| 91精品久久久久五月天精品| 日韩一级久久毛片| 免费AV中文网在线观看| 欧美99999| 久久久96| 亚洲国产综合图区中文字幕| 深爱伊人影院| 香蕉综合网| 中文字幕99999| 九九九九九九视频免费| 97干在线| 欧美第一页| 一区二区三区免费视频入口| 国产强奸乱伦无码视频| 精品日韩人妻视频| 岛国在线国产| 看一级特黄a大一片| 国产99久久99热这里只有精品15| 乱论91| 欧美性爱十八禁| 久精品无码av一区二免费国产在线观看| 一本大道不卡一二三区| 国产精品极品美女视频| 无码人妻丰满热妇又大又粗| 91天堂色男人的天堂| 欧美日韩第一页| 亚洲欧美自拍偷拍| 丁香五月性爱| 亚洲人精| 香蕉久久精品| 亚洲欧美日韩中文久久自慰| 熟女久久久| 中文字幕黄色一起草| 91精品老女人| 三级精品三级在线观看| 色黄污美女啪啪啪免费网站| 囯产操逼片| 久久思思热| 欧美 传媒 麻豆 日韩 偷拍| www被窝色com| 亚洲综合色图欧美| 免费成人自拍视频在线| 一区二区三区亚洲| 国产精品免费视频人成| 中文字幕一区av| 超碰爽人妻熟女Av| 韩国毛片一区二区三区| 久夜视频| 亚洲AV无码翔田千里网站| 国产精品自产拍在线观看社区| 五月色综合| 精品小视频在线| K8久久久久| a片偷拍视频| 激情网色| 又大又长又爽| 99这里都是精品| 久久久性| 亚洲成?V人片在线观看福利| 中日无幕一二三四区| 91成人久久| 亚洲综合欧美| 激情接吻视频久久久久久| 99热官网| 久久视频,这里只有精品| 天天综合网在线观看| 国产女人与拘做受视频免费| 99爱视频| 国产热av| 亚洲黄色视频在线观看视频| 97人人干人人操| 久久亚洲人妻| 国产丝袜啪啪| 国产一区二区在线电影| 超碰97色色| 91观看 国产白丝| 中文字幕一区电影在线观看| 中文字幕91综合| 91欧| 久久久国产亚洲精品系列| 密臀在线免费观看| 亚洲 欧美 日韩另类 麻豆| 91影库| 久久久久久久 九九九九九九九| 无码精品啪啪啪一区二区三区三州| 中文乱码字字幕在线第5页| www色色色com| 97久久精品不卡| 日本三级一区二区 在线| 一级黄色影片| 亚洲图片91| 去干网最新版| 亚洲欧洲激情| 美女午夜福利免费视频| 欧亚不卡| 四虎午夜影院| 人人色97| 欧美亚洲中文| 91亚洲黑人| 国产路线专区| 日韩欧美国产一区二区三区四区| 久久人人爽爽爽人久久久| 中文字幕青青草| 国模精品娜娜一二三区| 91丝袜美腿片| 亚洲 欧美 偷拍 唯美| 久久久久久久78| 91精品人妻偷情| 99999精品成人| 亚洲九九九| 5252色欧美在线| 国产亚洲福利第一页丝袜| 91美女视屏| 极品销魂美女一区二区| 草b在线| 91欧洲国产成人久久精品网站| 九九香蕉网| 91另类| 99re3这里只有精品| 可免费观看的av毛片中日美韩| 六九九九| 校园春色五月天| 久久五月份| 91色狼| 嗯嗯,啊啊,国产精品| 日本精品一级二级三级| 色盈盈影院| 人人看欧美性爱| 天天影视之亚洲综合网| 亚洲欧美日韩夜夜| 欧美第五页| 探花熟女,姿勢到位,體驗感也到位| 九九人妻| 99这里有精品视频| 白嫩少妇| 白丝少妇一区二区| 国产h片在线观看视频| 91热色| 蜜臀av一区二区三区免费观看| a片自拍直播视频| 97亚洲欧美日韩| 在线观看av区| 97资源久久| 久久久婷婷| 色乱二区| 啊啊啊啊啊舒服| 国产精品一区二区在钱播放| 综合激情二| 91精品操美女| 精品无码久久久| 国产h片在线观看视频| 亚洲天天自拍| 激情自拍 校园春色| 日韩免费高清大片在线| 天天爱综合网| 97超碰jingpin| 可能人人看人人摸| 国产成人五月天丁香花| 久久综合乱子伦国产免费| 亚洲av影音先锋| 天天综合中文字幕 91| 欧美另类自拍| 婷婷在线视频| 欧亚性爱在线视频| 色欧美色交综合| 神马久久69| 99热在线观看| 脫衣舞一区二区三区| 亚洲三级。日韩三级| 久操网在线| 亚码激情| 色欲日韩欧美在线一区| 欧美黄色手机在线观看| 日本五区不卡| 青青草五月天| 亚洲欧美精品91| 在线综合色| 国产精品第一区第一页| 久久久久人| 天天插夜夜爽| 偷拍伦理视频| 在线观看av区| 日韩性爱视频在线免费观看| 国产精品噜噜噜日日日| 爱欲AV| 成人小电影网站tex| 99蜜桃臀久久久欧美精品网站| 天天添天天干电影| 人人干人人搞人人摸| 大香蕉免费3| 97综合在线| 亚洲蜜臀精品视频久久| 青娱乐手机日韩在线视频| 久久亚州高清| 精品久久久久,69国产成人精| 亚洲精品无码少妇久久| 波多野结衣被操50分钟免费视频| 男人天堂东京热| 78m成人视线| 超碰人人干天天射| 职场同事知名国产国产精品久久欧美日韩 | 爱我干综合| 午夜影美女日鸡鸡天天视频国产| 偷拍 欧美 日韩| 精品无吗m| 久久风骚城市人| 超碰导航97| 亚洲熟女乱综合一区二区在线-...亚洲国产日韩欧美一区二区三区,久久久久久精 | 日本成人A片免费看| 伊人一区二区在线播放| 99久久亚洲精品无码毛片潘甜甜| 精品一区二区2| 9久久久久久| 98超碰欧美| 欧美色综合网| 欧美激情在线观看视频| 97超碰9| 欧美色网| 尤物av网站免费在线播放| av影片在线观看不卡|