日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

SSD主控SoC中的DDR子系統(tǒng):數(shù)據(jù)通路的調(diào)度中心

SSD主控SoC中的DDR子系統(tǒng):數(shù)據(jù)通路的調(diào)度中心 但凡玩過(guò)幾塊SSD的人都會(huì)遇到類似的問(wèn)題新加了一塊固態(tài)硬盤想把原來(lái)D盤的系統(tǒng)遷過(guò)去或者下載了慧榮SM2258XT主控的量產(chǎn)工具想自己開(kāi)卡。折騰硬件之前很多人沒(méi)意識(shí)到?jīng)Q定這一步順利與否的其實(shí)是主控SoC和它旁邊的DRAM顆粒。SSD主控SoC整體架構(gòu)如果沒(méi)有概念很多人會(huì)把“不穩(wěn)定”怪到固件上把“掉速”怪到顆粒上卻很少懷疑DDR子系統(tǒng)在數(shù)據(jù)通路里扮演的角色。這篇文章想以主控SoC內(nèi)部的數(shù)據(jù)通路為主線講清楚DDR子系統(tǒng)到底承擔(dān)什么任務(wù)作為系統(tǒng)架構(gòu)師或維修/開(kāi)卡愛(ài)好者又該怎么去理解帶DRAM和不帶DRAM方案的差異。別覺(jué)得“DDR”只是顆粒選型表里一個(gè)頻率和容量參數(shù)它在整個(gè)SSD里的角色比你想象的復(fù)雜得多。1. 主控SoC其實(shí)是一臺(tái)以“搬數(shù)據(jù)”為唯一目的的專用計(jì)算機(jī)1.1 先看清主控SoC的硬件全家福很多教程一上來(lái)就講FTL算法、垃圾回收但連主控SoC內(nèi)部有哪些模塊都沒(méi)交代清楚。這里先把家底盤一遍。主控SoC并不是什么神秘的東西去掉“存儲(chǔ)”這個(gè)屬性它跟普通嵌入式SoC沒(méi)有本質(zhì)區(qū)別照樣本有CPU核心、總線矩陣、外設(shè)接口。特殊的是它所有外設(shè)和加速器都圍繞同一個(gè)目標(biāo)把用戶數(shù)據(jù)在主機(jī)和NAND之間搬運(yùn)得又快又穩(wěn)。CPU核心以ARM Cortex-R系列為主流也有用自研RISC-V核的。CPU負(fù)責(zé)FTL邏輯、指令解析、壞塊管理、磨損均衡這些“決策類”工作但不直接參與大量數(shù)據(jù)拷貝。主機(jī)接口SATAAHCI協(xié)議或者PCIeNVMe協(xié)議負(fù)責(zé)跟PC、服務(wù)器通信。目前主流消費(fèi)級(jí)NVMe盤的PCIe Gen3 x4帶寬上限大約3500MB/sGen4 x4翻倍到7000MB/s。NAND閃存接口主控拉出若干條閃存通道常見(jiàn)8通道、12通道、16通道甚至更高每個(gè)通道掛多顆NAND die。通道越多閃存并行度越高這個(gè)并行度直接決定主控能跑多高帶寬。ECC/LDPC引擎硬件編解碼器寫的時(shí)候給數(shù)據(jù)加上校驗(yàn)冗余讀的時(shí)候把錯(cuò)誤糾回來(lái)。TLC/QLC時(shí)代LDPC軟解碼對(duì)主控算力要求極高這一塊做不好盤就會(huì)頻繁掉速。DMA引擎這是數(shù)據(jù)通路的真主力。DMA負(fù)責(zé)把數(shù)據(jù)從一個(gè)接口搬到另一個(gè)接口整個(gè)過(guò)程不需要CPU逐字節(jié)干預(yù)CPU只要事先配好描述符和目的地址就行。SRAM與DDR接口內(nèi)部SRAM快但容量很小通常幾十KB到幾MB外部DDR才是主存儲(chǔ)容量從幾十MB到1GB以上不等承擔(dān)絕大多數(shù)像映射表、數(shù)據(jù)緩沖這類需要大容量暫存的活兒??偩€矩陣內(nèi)部互聯(lián)容易被忽略但它和DDR子系統(tǒng)同樣關(guān)鍵。主控內(nèi)部常用AXI總線或者類似NoC的多平面互聯(lián)位寬從32位到64位頻率從幾百M(fèi)Hz到1GHz不等。如果你的內(nèi)部總線只有一個(gè)單出口主機(jī)數(shù)據(jù)、閃存數(shù)據(jù)、DDR訪問(wèn)、ECC編碼全部搶一條路那么外部DDR即使再快也會(huì)被“卡脖子”。很多FPGA做控制器原型驗(yàn)證的人會(huì)遇到“DDR帶寬明明夠但整機(jī)性能就是上不去”的情況一半的根因出在內(nèi)部總線仲裁而不是DDR本身。1.2 寫請(qǐng)求和讀請(qǐng)求在SoC內(nèi)部的完整旅程了解了模塊構(gòu)成就可以把一條真實(shí)的數(shù)據(jù)請(qǐng)求放進(jìn)通路里跑一遍。先看寫路徑主機(jī)通過(guò)NVMe/SATA協(xié)議發(fā)送寫命令伴隨數(shù)據(jù)包進(jìn)入主控的主機(jī)接口。DMA引擎把數(shù)據(jù)從主機(jī)側(cè)接收FIFO搬到內(nèi)部緩沖SRAM或DDR。此時(shí)數(shù)據(jù)已經(jīng)帶上了邏輯塊地址LBA。固件查詢FTL映射表決定這批數(shù)據(jù)該寫到哪些物理頁(yè)。注意這里FTL映射表通常就住在DDR里所以光“查表”這一步就已經(jīng)產(chǎn)生了一次DDR訪問(wèn)。決定物理地址后數(shù)據(jù)不會(huì)立刻落閃存。固件會(huì)依據(jù)磨損均衡、垃圾回收狀態(tài)和當(dāng)前NAND忙閑情況把數(shù)據(jù)先在DDR的寫緩沖區(qū)分組、合并。等到NAND通道空閑且聚合的數(shù)據(jù)量足夠固件才發(fā)起寫操作數(shù)據(jù)從DDR緩沖區(qū)流向LDPC編碼引擎加完校驗(yàn)后按通道和片選分配到對(duì)應(yīng)NAND顆粒。物理寫入完成后FTL映射表在DDR中更新。這部分更新的映射記錄還要定期固化到NAND的映射備份區(qū)否則斷電就會(huì)丟失。再看讀路徑讀路徑的邏輯稍微“輕”一點(diǎn)但同樣繞不開(kāi)DDR主機(jī)發(fā)出讀命令固件先查DDR里的映射表把LBA翻譯成物理頁(yè)地址。主控向?qū)?yīng)NAND通道發(fā)起讀命令從NAND讀回原始數(shù)據(jù)經(jīng)過(guò)LDPC譯碼獲取正確數(shù)據(jù)。由于NAND頁(yè)大小常見(jiàn)16KB或32KB和主機(jī)讀寫粒度典型4KB不對(duì)等主控經(jīng)常需要把若干段數(shù)據(jù)在DDR或SRAM里重新拼接湊成主機(jī)期望的邏輯塊再用DMA返回主機(jī)。一條數(shù)據(jù)從進(jìn)到出至少兩次經(jīng)過(guò)DDR。這個(gè)“至少”在隨機(jī)小寫、垃圾回收并發(fā)時(shí)會(huì)翻倍增長(zhǎng)。所以結(jié)論已經(jīng)很明顯了DDR子系統(tǒng)不是“可選配件”而是數(shù)據(jù)通路上的十字路口。2. DDR子系統(tǒng)在數(shù)據(jù)通路里的四種身份2.1 它是FTL映射表的常駐內(nèi)存FTLFlash Translation Layer是SSD的靈魂。它維護(hù)一張“邏輯地址到物理地址”的映射表。主機(jī)只認(rèn)邏輯塊地址LBA但閃存物理頁(yè)是不斷在磨損、回收、重寫的所以主控內(nèi)部必須有一張隨時(shí)能查的表。這張表有多大可以做一次很樸素的估算假設(shè)映射粒度為8KB即每8KB邏輯空間對(duì)應(yīng)一個(gè)映射條目單條映射信息打包壓縮后占用4字節(jié)。那么一塊512GB的盤映射表大小就是512GB÷8KB×4B算下來(lái)正好256MB。如果映射粒度更細(xì)4KB或條目更寬8字節(jié)512GB盤就可能需要512MB甚至1GB的DRAM來(lái)裝映射表。這里就能解釋很多產(chǎn)品現(xiàn)象為什么老款120GB/240GB固態(tài)盤只配64MB或128MB DDR而高端2TB盤要配512MB或1GB DDR。因?yàn)槿萘吭酱笥成浔碓酱驞DR不夠就裝不下足夠多的映射表熱數(shù)據(jù)。有了DDR常駐映射表主控處理一次讀命令時(shí)查表只需要一個(gè)短延時(shí)的內(nèi)存訪問(wèn)如果沒(méi)DDR或者DDR容量太小映射表就只能部分駐留查不到的部分要去NAND里讀這個(gè)開(kāi)銷是災(zāi)難級(jí)別的4K隨機(jī)性能會(huì)直接崩塌。2.2 它是讀寫合并時(shí)用的臨時(shí)堆場(chǎng)NAND閃存的工作方式跟機(jī)械硬盤完全不一樣它以頁(yè)為單位讀寫一個(gè)頁(yè)通常是16KB或32KB。但主機(jī)下發(fā)數(shù)據(jù)的粒度很靈活可能是極其瑣碎的4KB、8KB甚至更小。為了讓NAND寫效率更高主控不會(huì)來(lái)一條就寫一條而是把零碎的寫請(qǐng)求先在DDR緩沖里攢一攢湊成完整的NAND頁(yè)再寫入。這個(gè)過(guò)程在固件術(shù)語(yǔ)里叫“寫合并”或“批量組頁(yè)”。讀方向同樣需要合并。主機(jī)可能只讀一個(gè)頁(yè)里的前半部分但NAND讀出來(lái)的是整個(gè)物理頁(yè)。主控要么只保留有效部分要么把整頁(yè)數(shù)據(jù)放進(jìn)DDR緩存以便后續(xù)相鄰LBA的讀取直接命中。垃圾回收時(shí)更夸張GC要把一個(gè)塊里的有效數(shù)據(jù)先讀進(jìn)DDR再把它們跟正在寫的熱數(shù)據(jù)一起重新分配、重寫。這一進(jìn)一出DDR的帶寬壓力瞬間翻倍。所以有很多主控在順序?qū)懭霑r(shí)表現(xiàn)尚可一旦進(jìn)入“半盤以上空間被占滿”狀態(tài)性能會(huì)出現(xiàn)斷崖式下跌。除了NAND本身寫放大很大程度也源于DDR緩沖和固件GC策略在實(shí)際數(shù)據(jù)通路中調(diào)度不過(guò)來(lái)。2.3 它是固件自己的運(yùn)行內(nèi)存很多人只把DDR理解成“緩存”其實(shí)它同時(shí)也是固件的運(yùn)行內(nèi)存。SSD主控里跑的是一套完整的實(shí)時(shí)操作系統(tǒng)固件棧包括FTL模塊、命令調(diào)度、壞塊管理、磨損均衡、溫控策略還有各種后臺(tái)任務(wù)。這些模塊的代碼在運(yùn)行前會(huì)被從NAND或外掛NOR Flash加載到內(nèi)存里執(zhí)行。固件用到的數(shù)據(jù)結(jié)構(gòu)比如命令隊(duì)列、壞塊表、磨損計(jì)數(shù)、日志系統(tǒng)、上下文狀態(tài)全部需要一大塊可讀寫的RAM空間。內(nèi)部SRAM通常只有幾百KB撐不起這么多東西所以DDR才是固件的“主存”。如果DDR子系統(tǒng)不穩(wěn)定比如顆粒虛焊、供電紋波偏大、訓(xùn)練時(shí)序不對(duì)SSD最典型的表現(xiàn)就是“掉盤”——固件運(yùn)行過(guò)程中訪問(wèn)DDR出錯(cuò)觸發(fā)看門狗復(fù)位盤從系統(tǒng)里消失過(guò)一會(huì)又出現(xiàn)。這種案例在維修和開(kāi)卡圈子里非常常見(jiàn)很多人誤以為是固件bug其實(shí)根源在DDR。2.4 它是掉電保護(hù)時(shí)最后搶救的數(shù)據(jù)安全島DDR是易失性存儲(chǔ)一斷電數(shù)據(jù)就沒(méi)了。但恰恰因?yàn)镈DR里住著映射表和寫緩存SSD掉電時(shí)最怕的就是DDR內(nèi)容來(lái)不及保存。帶掉電保護(hù)PLP的企業(yè)級(jí)盤會(huì)在主板上焊一排大電容或鉭電容檢測(cè)到外部電源跌落時(shí)利用電容殘存電量繼續(xù)給主控、DDR和NAND供一小段時(shí)間的電。主控利用這段時(shí)間把DDR里的FTL映射表快照和新寫入但還沒(méi)來(lái)得及落盤的數(shù)據(jù)緊急寫進(jìn)NAND的臨時(shí)區(qū)域。消費(fèi)級(jí)盤大多沒(méi)有完整PLP靠的是固件定期把映射表持久化到NAND同時(shí)保證DDR里只保留可以重新推導(dǎo)或重建的數(shù)據(jù)。但無(wú)論哪一類DDR的角色都一致它是數(shù)據(jù)最集中、最新鮮的地方掉電保護(hù)的本質(zhì)就是在搶救DDR里的資產(chǎn)。這里也能看出DRAM-less方案的一個(gè)優(yōu)勢(shì)——少一個(gè)DDR掉電時(shí)需要搶救的數(shù)據(jù)量會(huì)小很多失效模型更簡(jiǎn)單。3. 從計(jì)算角度看DDR選型帶寬、容量、時(shí)序三個(gè)硬指標(biāo)3.1 DDR帶寬要多少才夠用在方案設(shè)計(jì)階段你要回答的第一個(gè)問(wèn)題不是“用多大容量DDR”而是“DDR帶寬夠不夠”。DDR在數(shù)據(jù)通路里要同時(shí)服務(wù)主機(jī)數(shù)據(jù)、NAND數(shù)據(jù)、FTL查詢、固件CPU讀寫所以它的總線帶寬必須留足余量。做一次粗略預(yù)算。假設(shè)做一塊PCIe Gen3 x4接口的NVMe盤主機(jī)接口理論帶寬約3500MB/s。為了達(dá)到這個(gè)上限NAND接口側(cè)必須同樣具備接近甚至超過(guò)3500MB/s的聚合帶寬而數(shù)據(jù)搬移過(guò)程中DDR常常要當(dāng)中間跳板。經(jīng)驗(yàn)做法是讓DDR可用帶寬達(dá)到主機(jī)接口理論帶寬的1.5到2倍以上才能保證順序大文件讀寫、隨機(jī)小寫和GC并發(fā)時(shí)不會(huì)被內(nèi)存訪問(wèn)卡住。舉個(gè)例子常見(jiàn)的DDR3-1600顆粒數(shù)據(jù)線寬16bit它的峰值帶寬是1600MT/s×2字節(jié)≈3200MB/s。這個(gè)值單看跟Gen3 x4接口差不多但實(shí)際包含了行激活、預(yù)充電、讀寫切換等開(kāi)銷可用帶寬會(huì)打折扣。所以稍微講究一點(diǎn)的控制器會(huì)選用DDR3/DDR4 1866/2133頻率或者把DDR數(shù)據(jù)線擴(kuò)展到32bit把峰值帶寬推到6.4GB/s以上。不做這一步順序?qū)懭牒蟀攵瓮鶗?huì)出現(xiàn)周期性掉速。我實(shí)際在FPGA原型上踩過(guò)這個(gè)坑DDR顆粒型號(hào)沒(méi)變只是把突發(fā)數(shù)據(jù)調(diào)度策略從“每筆請(qǐng)求獨(dú)立訪問(wèn)”改成“同Bank連續(xù)地址聚合訪問(wèn)”整機(jī)隨機(jī)寫性能就提升了約20%。這充分說(shuō)明DDR帶寬不止看顆粒規(guī)格更看控制器怎么組織和利用總線事務(wù)。這里順帶回答一個(gè)很多初學(xué)者會(huì)查的問(wèn)題DDR的burst length是什么意思DDR3/4顆粒默認(rèn)突發(fā)長(zhǎng)度BL8意味著一次突發(fā)連續(xù)傳輸8個(gè)數(shù)據(jù)字。以16bit位寬的顆粒為例一次BL8突發(fā)會(huì)傳輸16×8128bit數(shù)據(jù)對(duì)應(yīng)內(nèi)部預(yù)取8n位??刂破髦挥邪凑者B續(xù)地址、盡量集中在同一行Row Buffer Hit的方式組織訪問(wèn)才能把突發(fā)效率跑滿。如果你去讀DDR協(xié)議規(guī)范會(huì)發(fā)現(xiàn)ACT、READ、WRITE命令之間的時(shí)序約束tRCD、tRAS、tWR等非常嚴(yán)格這都是在為突發(fā)傳輸?shù)母咝史?wù)。3.2 DDR容量與NAND容量的換算關(guān)系容量問(wèn)題前面提到過(guò)這里給出可復(fù)用的公式映射表所需空間 ≈ (SSD用戶容量 ÷ 映射粒度) × 單條映射大小以512GB容量、8KB粒度、每條映射4字節(jié)為例512GB 536870912KB除以8KB得到67108864條映射再乘4字節(jié)等于256MB。所以不帶DDR的主控如果想保證映射表完整駐留至少配256MB內(nèi)存。實(shí)際工程中還要預(yù)留寫緩存和固件運(yùn)行空間512GB盤配256MB DDR其實(shí)已經(jīng)非常緊張很多設(shè)計(jì)會(huì)配到512MB。1TB往上要看映射粒度是否增大、映射條目壓縮是否激進(jìn)不然DDR成本會(huì)壓不住。從選型角度大家可以直接拿這個(gè)公式反推看到一塊盤的DRAM顆粒容量就能估算它主控的映射管理策略大概是什么等級(jí)從而判斷它在高負(fù)載下會(huì)不會(huì)出現(xiàn)映射抖動(dòng)。3.3 burst length、位寬與頻率如何組合很多主控規(guī)格表只寫“支持DDR3/DDR4”但不寫位寬。主控SoC的DDR控制器接口位寬通常有16bit和32bit兩種少見(jiàn)64bit。位寬直接決定同樣頻率下帶寬翻倍代價(jià)是SoC封裝引腳數(shù)和PCB布線面積顯著上升。DDR頻率選擇還要考慮跟主控內(nèi)部總線頻率的匹配。內(nèi)部AXI總線主頻假設(shè)是400MHz、64bit位寬理論帶寬也是3.2GB/s那么DDR3-1600 16bit的3.2GB/s正好匹配但余量不足。好的架構(gòu)設(shè)計(jì)會(huì)讓DDR接口帶寬略高于內(nèi)部總線帶寬而不是剛好卡在同一個(gè)數(shù)否則總線滿負(fù)載時(shí)會(huì)產(chǎn)生反壓導(dǎo)致主機(jī)接口出現(xiàn)額外延遲。時(shí)序?qū)用鍰DR3/DDR4顆粒的CL、tRCD、tRP這些參數(shù)同樣影響實(shí)際性能。顆粒頻率往上提CL值往往同步放大延遲反而沒(méi)降多少。SSD主控對(duì)延遲尤其敏感尤其是隨機(jī)4K讀每次查映射表的延遲都能直接影響IOPS。所以做SSD主控選DDR顆粒時(shí)別看峰值帶寬花眼還要關(guān)注在目標(biāo)頻率下的實(shí)際讀寫延遲。4. 帶外部DDR與DRAM-less的分叉口同為SSD內(nèi)部差著一個(gè)架構(gòu)時(shí)代4.1 帶DDR方案旗艦產(chǎn)品的穩(wěn)定器我們先說(shuō)經(jīng)典方案主控帶著一顆外置DDR顆粒。典型代表包括大家熟悉的慧榮SM2258注意不是XT版、SM2262/SM2263群聯(lián)E12/E16聯(lián)蕓MAP1202等。這些主控方案幾乎都外掛一顆DDR3L或DDR4顆粒容量從64MB到1GB不等。帶DDR方案的優(yōu)勢(shì)非常明顯FTL映射表完整駐留任意LBA查表都是固定低延遲。寫緩存空間充裕即使隨機(jī)小寫也能大量聚合大大減少NAND寫入次數(shù)降低寫放大。固件運(yùn)行空間富余可以做復(fù)雜的后臺(tái)GC、磨損均衡和熱冷數(shù)據(jù)分離。掉電保護(hù)只需要聚焦DDR和NAND之間的數(shù)據(jù)搬移邏輯相對(duì)清晰。缺點(diǎn)也直白成本高BOM里多一顆DDR顆粒多一個(gè)失效點(diǎn)DDR本體虛焊、老化、供電異常都會(huì)導(dǎo)致不開(kāi)卡或掉盤。不過(guò)對(duì)性能和穩(wěn)定性要求高的人來(lái)說(shuō)這些代價(jià)值得。4.2 DRAM-less HMB方案用主機(jī)內(nèi)存“蹭”出性能近幾年低價(jià)位NVMe盤大量采用DRAM-less主控比如慧榮SM2258XT、SM2263XT。這類方案在主控SoC上直接省掉DDR控制器外訪通路不焊外置DRAM顆粒成本大幅下降。但前面說(shuō)得很清楚沒(méi)有DDR映射表住哪兒寫緩存用什么解決辦法叫HMBHost Memory Buffer主機(jī)內(nèi)存緩沖。NVMe協(xié)議允許主控通過(guò)PCIe BAR空間去訪問(wèn)主機(jī)系統(tǒng)DDR的一段固定區(qū)域。也就是說(shuō)主控可以“借”一部分主機(jī)內(nèi)存來(lái)緩存FTL映射表和少量寫數(shù)據(jù)。HMB的妙處在于借用的是PC上性能極強(qiáng)的大容量?jī)?nèi)存而且延遲只比主控自帶DDR高一點(diǎn)點(diǎn)多了一次PCIe往返。對(duì)日常使用來(lái)說(shuō)HMB方案在讀寫大文件、跑分軟件里甚至能跟帶DDR方案打平。但實(shí)際體驗(yàn)中存在幾個(gè)不那么漂亮的地方老舊主板BIOS不支持HMB分配或PCIe ASPM省電策略太激進(jìn)導(dǎo)致主機(jī)內(nèi)存響應(yīng)不穩(wěn)定盤有時(shí)會(huì)卡成幻燈片。映射緩存放主機(jī)內(nèi)存每次查詢都要走PCIe鏈路雖然延遲不高但高隊(duì)列深度下并發(fā)沖突明顯隨機(jī)性能波動(dòng)比帶DDR方案大。寫緩存受限小文件寫入合并能力弱垃圾回收壓力會(huì)更早暴露。所以DRAM-less方案適合預(yù)算敏感、以順序讀寫為主的用戶如果重負(fù)載隨機(jī)寫、長(zhǎng)時(shí)間渲染或虛擬機(jī)多開(kāi)還是優(yōu)先考慮帶DDR方案。拆分這一點(diǎn)很多“為什么同容量盤價(jià)格差一半”的疑問(wèn)就解開(kāi)了。4.3 開(kāi)卡和量產(chǎn)時(shí)怎么判斷主控是否帶緩存如果你玩開(kāi)卡工具會(huì)在量產(chǎn)工具界面看到“Cache”“DDR”之類的選項(xiàng)。比如慧榮SM2258XT對(duì)應(yīng)的量產(chǎn)工具跟SM2258固件包往往不通用因?yàn)橐粋€(gè)是DRAM-less架構(gòu)一個(gè)是帶DDR外置架構(gòu)。開(kāi)卡前先看板子上有沒(méi)有獨(dú)立的DDR顆粒不要憑主控型號(hào)硬刷。很多開(kāi)卡失敗案例都源于糊涂地拿帶DDR固件往無(wú)緩存板子上刷。判斷方法很簡(jiǎn)單外觀上看主控旁邊有沒(méi)有一顆稍大的、引腳密集的顆粒更準(zhǔn)確的做法是查主控datasheet的封裝引腳表看有沒(méi)有完整DDR接口信號(hào)。像SM2258XT這種型號(hào)后綴帶XT的本身就是無(wú)緩存版本選錯(cuò)固件很容易報(bào)錯(cuò)。5. 固件與硬件配合中的DDR細(xì)節(jié)啟動(dòng)訓(xùn)練、掉電保護(hù)與排查經(jīng)驗(yàn)5.1 上電之后DDR是怎么被“喚醒”的這個(gè)環(huán)節(jié)做固件的人深有體會(huì)但普通玩家往往不知道。SSD上電后主控SoC并不是立刻就能用DDR的。此時(shí)DDR還沒(méi)有初始化內(nèi)部時(shí)序參數(shù)未知物理層信號(hào)對(duì)齊也沒(méi)建立。所以BootROM先靠?jī)?nèi)部SRAM運(yùn)行這段極早期的代碼只能用少量SRAM做基本硬件初始化鎖相環(huán)、時(shí)鐘、主機(jī)接口PHY、關(guān)鍵IO。完成基礎(chǔ)初始化后固件才進(jìn)入DDR初始化流程也就是常說(shuō)的DRAM Training。DDR控制器要在目標(biāo)頻率下對(duì)DQS/DQ信號(hào)做延遲掃描找到每個(gè)字節(jié)通道最可靠的采樣窗口然后寫入時(shí)序寄存器。這一步如果失敗盤的表現(xiàn)就是“主控不識(shí)別”“顆粒焊接沒(méi)問(wèn)題但依舊抓不到盤”實(shí)際顆粒本身往往是好的純粹是訓(xùn)練參數(shù)沒(méi)通過(guò)。我見(jiàn)過(guò)很多維修案例盤掉盤后重新開(kāi)卡又好了本質(zhì)就是重新上電后DRAM Training過(guò)了。但殘留問(wèn)題還在因?yàn)轭w?;蚬╇娨呀?jīng)老化訓(xùn)練余量極小跑幾天又會(huì)復(fù)現(xiàn)。這種情況建議直接更換DDR或降壓處理而不是反復(fù)刷機(jī)。5.2 掉電保護(hù)在固件層面的實(shí)現(xiàn)層次前面講過(guò)PLP的硬件基礎(chǔ)這里看固件怎么利用DDR做數(shù)據(jù)安全。第一級(jí)固件定期比如幾百毫秒或幾秒內(nèi)一次把DDR里的FTL映射表快照寫入NAND的映射備份區(qū)。每次完整寫映射表比較耗時(shí)所以通常只做“臟映射項(xiàng)”增量備份。第二級(jí)發(fā)生掉電時(shí)主控轉(zhuǎn)入緊急處理流程關(guān)閉主機(jī)接口禁止NAND新任務(wù)然后集中把DDR里的寫緩存數(shù)據(jù)和最新映射變更寫進(jìn)NAND臨時(shí)塊。等下次上電固件啟動(dòng)時(shí)先從臨時(shí)塊恢復(fù)現(xiàn)場(chǎng)。這里要注意DDR的容量越大掉電時(shí)需要搬移的數(shù)據(jù)也越多。如果DDR位寬窄、頻率低搬移時(shí)間就會(huì)拉長(zhǎng)對(duì)PLP電容的電量?jī)?chǔ)備要求就更高。這就是為什么有些大容量DDR方案的盤反而更容易在掉電中出問(wèn)題因?yàn)樗凹耶?dāng)”太多來(lái)不及搬完。在做產(chǎn)品定義時(shí)DDR容量不是越大越好還要評(píng)估在目標(biāo)掉電窗口內(nèi)能否完成數(shù)據(jù)固化。5.3 調(diào)試DDR常見(jiàn)問(wèn)題從“讀有效信號(hào)一直為低”說(shuō)起很多做FPGA原型驗(yàn)證或芯片驗(yàn)證的朋友會(huì)遇到一個(gè)問(wèn)題控制DDR時(shí)DDR的讀有效信號(hào)一直拉不高。這個(gè)現(xiàn)象可以拆出好幾個(gè)可能方向。第一檢查DDR控制器初始化狀態(tài)。控制器完成training并進(jìn)入正常態(tài)之前根本不會(huì)產(chǎn)生有效的讀數(shù)據(jù)返回讀有效信號(hào)保持低電平是正常的。不要一上來(lái)就懷疑讀時(shí)序先看控制器狀態(tài)寄存器是否從IDLE進(jìn)入ACTIVE。第二檢查命令是否真正發(fā)出。FPGA或膠邏輯里經(jīng)常犯的錯(cuò)是只配了地址沒(méi)有按DDR協(xié)議先發(fā)ACT命令打開(kāi)行就直接發(fā)READ命令或者REF自動(dòng)刷新沒(méi)有及時(shí)觸發(fā)。DDR要求先激活行再讀列命令次序錯(cuò)一個(gè)周期控制器就永遠(yuǎn)等不到有效數(shù)據(jù)。第三核對(duì)DFI接口的返回時(shí)序。控制器和PHY之間通常用DFI接口通信PHY讀回來(lái)的數(shù)據(jù)要經(jīng)過(guò)若干周期的內(nèi)部延遲才拉到DFI總線上。很多“讀有效一直為低”的case其實(shí)是PHY側(cè)返回路徑的采樣延遲沒(méi)配對(duì)控制器在錯(cuò)誤的時(shí)鐘沿采樣誤以為沒(méi)有有效數(shù)據(jù)。調(diào)試時(shí)可以沿著DFI總線把rddata_valid和rddata相對(duì)于dqs的相位打一拍、兩拍、三拍逐一觀察常常能找到正確窗口。第四用邏輯分析儀或示波器看物理DQS/DQ邊沿。如果命令、地址、時(shí)序寄存器都正常但DQS上根本沒(méi)出現(xiàn)讀前導(dǎo)信號(hào)read preamble優(yōu)先查時(shí)鐘穩(wěn)定性和PHY的訓(xùn)練結(jié)果。顆粒供電紋波大、參考電壓Vref偏了也會(huì)導(dǎo)致物理層眼圖閉合訓(xùn)練過(guò)程直接卡住。處理這類問(wèn)題經(jīng)驗(yàn)法則是“先狀態(tài)機(jī)后物理層再協(xié)議層”。把控制器狀態(tài)和DFI時(shí)序理清楚絕大多數(shù)“讀有效信號(hào)異?!倍寄芏ㄎ弧_@一套排查鏈路在SSD固件和芯片驗(yàn)證崗位面試?yán)镆步?jīng)常被拿出來(lái)問(wèn)可見(jiàn)它多么基礎(chǔ)又關(guān)鍵。DDR子系統(tǒng)在整個(gè)SSD主控SoC里的角色往小說(shuō)是內(nèi)存顆粒選型往大了說(shuō)其實(shí)是數(shù)據(jù)通路的調(diào)度中心。理解它之后再去看那些“帶緩存好還是無(wú)緩存好”“為什么掉盤”“為什么開(kāi)卡報(bào)錯(cuò)”的問(wèn)題思路會(huì)清晰很多。我自己做固件調(diào)優(yōu)時(shí)也養(yǎng)成一個(gè)習(xí)慣遇到性能或穩(wěn)定性問(wèn)題先看DDR控制器統(tǒng)計(jì)數(shù)據(jù)讀命中率、行命中率、寫合并命中率三個(gè)數(shù)一番組合下來(lái)往往比盲目調(diào)GC參數(shù)有效得多。希望這篇梳理能給你在選型、開(kāi)卡或調(diào)試的路上省下一點(diǎn)試錯(cuò)時(shí)間。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
67914亚洲精品| 在线 亚洲 网爆 自拍| 欧美色色色| 天天插天天操天天摸天天射天天看| 九九热国产| 二男一女成人A片| 天天爽爽爽爽| 久久天天躁日日躁狠狠躁| 日本99一区二区| A级毛片在线看免费| 乱论91| 91无码中出人妻视频| 岛国网址国产| 99黄页网站| 精品国模无码| 亚洲情色在线| 黄色AAAAA欧美| 日本人妻一区二区| 狠狠久久手机视频精品| 欧洲中文字幕| 久久男人精品| 97网址97| 综合欧美日本三级| 91色色综合| 久草资源在线视频官方总站日韩丝袜美腿| 91色色网站| 亚洲欧美精品福利在线| 国产精品另类一区大香蕉| 91蜜臀在线久久久久| 欧美在线中M| 欧美后入| 久久综合女优| 国产欧美日韩一区二区三区| 麻豆国产成人精品| 九九伊人网| 亚洲在线综合| 欧美在线大香蕉| 亚洲精品尤物yw在线影院| 亚洲影院小综合| 性饥渴少妇av无码毛片| 九九九九九精品十六| 亚洲天堂一区二区久久| 人妻少妇久久中文| 国产精品一二三区福利| 都市久久精品激情亚洲| 少好三P| 久久一区二区三区入口| 欧美日韩制服| 久久久久久亚洲精品中文字幕人妻| 国产精品白丝在线播放 | 精彩久久中文| 亚洲天堂热| 密乳视频在线| 天美麻豆黄色录像| 久久久性少妇| 色播丁香| 东北毛片| 北京专精特新企业招聘信息| 国产精品无码成人精品| 伊人久久蜜月| 婷婷五月天激情网| 情色大香蕉| 欧美狠狠操| 久久久久久久国产a∨| 亚洲图片欧美偷拍| 九九国产热| 亚洲第一综合| 中文字幕精品区先锋资源| 亚洲欧美碰碰| 精品久久久av| a片在线播放| 俺也射| 色97| 久久九九综合| 人妻丝袜美腿中文字幕| 超碰人妻中文在线| 欧美 亚洲 制服 精品| 精品乱码久久久久| 久久久不能久久久久| 日韩av电影成人在线| 久久、1234| 精产品久久| 久久婷婷色| 综合伊人激情| 一起草视频在线| 亚洲凸凹超碰成人| www.色五月| 久久久久久99AV无码免费网站| 久久綜合很很很| 精品久久久久综合无码| 亚洲精品欧洲色| 青娱乐手机日韩在线视频| 91干熟女| 综合熟女| 日韩av不卡在线观看| 国偷自 一区二区| 国产成人资源| 国内毛片婷婷六月色| 国产精品第一页国产大屁股视频免费区| 欧美另类自拍| 这里是精品| 91丝袜美女国产| 丁香五六月啪啪| 97这里有精品| 久久亚洲一区女同性恋中文字幕| 欧美天天综合站| 久久久久久日韩| 96麻豆精品一区二区三区| 一本色道综合久久欧美| 夜色91| 日韩一级二级三级免费看完整版国语版| 99色视频| 大地资源在线观看中文第二页| 超碰地址久久| 欧美黑人日韩少妇色情| 亚洲日韩av一区二区三区百合| 国产精品探花在线| 91成人在线免费视频| 国产午夜精品理论片a大结局| 黄站在线免费观看| 九九九九九九亚洲| 乱伦AVxx| 国产美女高潮| 久久久久96| 欧美日韩国产电影| 日本精品人妻少妇一区二区| 亚欧美天堂在线| 久久久久久久一级黄色打同平台| 久久婷五月天| 青青草视频这里只有精品| 午夜男人一级A片7777| 18禁超污无遮挡无码免费网| 国产高清26uuu| 在线观看无码三级少妇| 成人线上超碰| 国产丝袜欧美在线视频| www.伪伪| 日韩成人大片一区二区| 男女日B国产| 91成人高清在线观看| 亚洲巨爆乳一区二区三区四季网| 欧美视频一| 不卡在线观看视频| 91精品91久久久久77777俄罗斯老妇姓x| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 久久噜噜噜精品国产亚洲综合| 婷婷五月天小说| 日韩AV一起草| 免費黃色視頻觀看一| 三级网色| 一区三区啪啪| 伦理片秋霞免费影院| 大香网站| 日产狠狠干| 操少妇很爽av| 久久欧洲| 欧美日韩另类字幕中文| 曰本道人妻久久久在线不卡色视频| 超碰一区二区| 嗯嗯啊好爽| 久久久新亚洲AV| 26UUU欧美日本| 伊人专区一区二区三区| 国产一区二区三区白丝| 乳欲人妻办公室奶水| 青青操狠狠撩| 天天综合网国产| 99精品热| 五月开心网| 青青青操| 少妇丝袜在线观看AV| 国产精品大屁股999| 九九九国产精品| 伊人网高清| 人妻久久一区二区三区 | AV天堂男人的天堂| 加勒比少妇AV婷婷六月天超碰超碰| 日韩精品第3页| 艾草av| 老熟妇一区二区三区啪啪| 亚洲蜜臀精品视频久久| 男人天堂网址| 看日韩操逼| 亚洲 国产 精品一区| 欧美日韩成人| 亚洲射综合网| 蜜屁av| 日韩综合无码一区久久92| 欧美精品99久久久**| 人人操肉肉| 岛国精品视频在线观看 | 久操婷婷| 麻豆 亚洲 97| 探花精品 一区二区| 亚洲av综合色区无码一| 神马视频久久久久久| 欧美在线视频播放| 家庭乱伦麻豆| 家庭乱伦国产| 淫淫总合网| 亚洲男人天堂视频| 国产精品自在线发布| 女人的久久久| 欧美91久久久久| 97AV在线观看| 六月丁香网| AV色五月天| 日本羞羞的视频在线播放| AV综合中文字幕干| 国产免费大片| 久久超碰天天| 超碰免费人妻人人| 久久婷婷五月天| 亚洲鸥美色图| 欧美一区二区三区入口| 亚洲男人的天堂V| 久草精品一区| 日本三级A片网站com| 亚洲图片偷拍视频区| 97亚洲性爱| 蜜臀AV一区二区三区| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师黑人潮喷一 | 在线视频 亚洲精品| 国产高清成人传媒影视| 另类 综合 日韩 欧美 亚洲| 女沟厕偷窥piss小便| 九热视频| 丝袜美腿丝袜| 色优久久| 91精品91久久久中77777| 蜜臀AV网站| 97bbn| 日韩强奸av| 美国美女AV在线| 91n处女在线观看| 欧美成人黄网色网站| 九九九精品一区二区无码| 日本黄大片在线观看视频| 97人肏| 超碰97 线线 在现| 香蕉99秘 精品一区丁香| 色香综合| 日韩欧美女优电影| 九九无码| 冬京热男人的天堂| 欧美精品精品一区二区| 亚洲 图片 欧美 色图| 日韩免费a级毛片无码a∨| 国产成人亚洲精品自产在线| 亚洲男人在线观看天堂| 美中韩AV综合网| 色综91| 中文字幕一区二区三区视频播放| 九热中文字幕| 少妇人妻无码| 啪啪视频亚洲第一| 蜜臀无码一区二区| 免费AV播放| 欧美 亚洲精品首页| 99热18| 欧美性暴力| 久久一留热品黄| 综合网天天| 色噜噜国产在线| 九九九精品成人免费视频小说| 夜夜高潮夜夜爽| 伊人网青青| 91网站视频在线观看| 日韩成人在线性爱视频| jiujiujiujingpin| 日韩精品99999| 69少妇一区二区| 2026国产精品视频| 成人免费不卡在线视频| 最新制服中文第一页| 国产女人高潮视频| 国产美女裸体秘 永久无遮挡| 一本一首道人妻少妇免费久久| 3D污黄视频在线观看| 日韩精品资源| 欧美日日夜夜| 亚洲字幕一区二区| 日韩有码专区| 东北女人操比视频| 性站 | A级片日韩欧美国产欧美视频精选观看 | 5252色欧美在线男人的天堂| 欧美久久九九| 激情干在线| 九九九九久久久久| 高潮综合网| 无码少妇精品一区二区60岁老人| 99久在线精品99re8蜜桃| 亚洲国产欧美日韩精品一区二区三区,国产一区二区三区在线看片,欧美性猛交 XXX | 97色婷| 日日日啊啊啊| 97香蕉网| 中文字幕天天操| 久久性爱大全| 久久久久久久免费A片国产成a人亚洲精∨品无码| 1204人成网站色www| 色欧洲97| 丝袜美腿91| 99最新日韩偷拍视频| 亚洲天天综合| 国产精品探花视频| 欧美天天性| 曰韩香蕉97| 97久精品| 欧美综合区| AⅤ片水多多| 极品出轨视频网站| 日本999精品| 狠狠色综合网| 最新日韩黄片| ..日韩av毛片精品久久久| 欧美综合天天| 997色在线| 91丝袜美腿网站| **一级毛片国产| 狠狠中文字幕| 偷拍 欧美 日韩| 啊啊在线| 蜜桃精品一区二区三区久在线| 中文字幕啊啊啊在线观看视频| 操操操日本的逼| 亚洲一区中文字幕| 日韩色女精品| 少妇色综合| 国产日韩精品一区二区三区| 亚洲天天更新| 国产九九久久久精品| 一区二区精品日韩欧美在线观看| 97精品一区二区三区免费| 99热亚洲| 欧美天天影院| 日本黄色天堂| 影音综合网| 精品人妻一区二区三区在| 在线欧美69V免费观看视频| 精品中文一区二区| 伊人天堂在线| 欧美久久婷婷| 亚洲欧美综合网| 91欧美网| 少妇久久久久| 亚州一区二区| 91蜜臀人妻中文字幕在线| 伊人97色天使| 色哟哟的毛片| 久久在线观看免费视频| 亚洲91综合| 热热色青青草| 亚洲免费97免费| 加勒比综合在线| 日本中文字幕一区| 啊啊啊好舒服好爽啊啊啊视频| 999岛国大片| 睡产熟女乱伦| 最新国产亚洲精品精品国产亚洲综合| 日韩免费在线观看不卡| 日韩在线观看三级电影| 热思思免费视频| 日韩操呦呦影院在线观看| 91亚州欧美| 插欧洲美女欧美精品| 天天夜夜久久| 国产九月婷婷| 六月婷婷一区二区三区| 中文字幕一区日韩精| 国色综合天| 九九五月天| 欧美一二三级精品在线| 亚洲熟妇一,二,三期| 久久精彩免费视频| 狼天天狼天天大香蕉| 91亚洲黑人| 日本免费不卡二区| 加勒比海成人视频网| 精品国产乱码久久久兰草影视| 天堂涩涩| 一区超碰一区| 伊人久久AV诱惑悠悠| 婷婷色综合欧美日韩| 久久精品国产亚洲AV清纯| 日本熟女不卡视频| 色欲日韩欧美在线一区| 色五月婷婷在线| 嗯啊啊啊轻点视频 | 91 刺激在线| 青春草莓视频在线观看网址| 人人操人人爽人人操人人| 免费?级毛片无码?∨蜜芽试看| 99久久久无码精品国产人| 日本日皮视频逼| 91 刺激在线| 内射中出日韩在线观看视频| 人妻素股| 欧美91精品国产自产| 国产精品亚洲天堂网址| 久久久五月天| 91最新综合| 韩国毛片一区二区三区| 夜夜草天天| a级理论午夜日本| 啪啪91| 亚洲性猛| 九九九色| 九九探花视频在线观看| 国产成人拍国产亚洲精品| 麻豆av一区二区| AV色五月天| 97综合国产精品高潮久久| 五月花婷婷| 国产理论视频在线播放| 浪人综合网| 超碰成人公开| 五月天精品| 国产精品爆乳懂色蜜乳| 欧美同性恋 的搜索结果 - 91n| 思思99热| 免费?级毛片无码?∨蜜芽试看| a在线视频免费观看| 黄片qw| 亚洲国产精品V?在线播放| 欧美亚洲手机在线| 蜜臀一区二区三区在线| 精品人妻一区二区蜜桃视频| 二对二中文字幕。| 九一精品牛牛一区二区| site:sinbotex.com| 96久久精品一二三区色欲| 91欧美偷拍| 熟女丰满人妻一区| 亚洲s在线观看| 欧美日韩一干二干| 国内外毛片在线观看| 乱欲一区二区| 国产超碰在线| 熟女丝袜视频| 嗯嗯啊啊啊啊轻点视频| 高潮综合网| 99re在线| 97精品综合久久网| 日本布卡一区二三区| 亚洲字幕一区二区| 青青操在线亚洲视频观看欧美在线 | 国产精品永久免费10000| 99爱精品| 超碰天天去日穴| 国产h片在线观看视频| aaa淫乱视频| 视频国产成人精品日本亚洲18| 操一区| 女上位精品在线| 浪人综合网| 校园春色亚洲无码| 最新的亚洲无吗| 囯产乱伦一区二区三女| 99热18这里只有精品| 中文字幕国产在线天堂| 人妻无码视频一区二区三区久久| 国产日韩精品suv| 激情综合五月婷婷| 天天综合网1| 青青草这里只有精品| 日本精品不卡一二三区| 熟妇激情| 综合色啪| 男同专区一区二区三区在线| 麻豆久久视频在线地址| 另类天堂| 亚州成人A√| 蜜臀AV午夜精品久| 亚91亚洲网| 呦呦影院| 好舒服视频| a级成人毛片免费视频高清| 99后入| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | 亚洲精品一二区| 香蕉免费一区二区三区不读 | 婷婷婷婷婷婷久久久久| 国产精品一二三免费网站| 久久久亚洲高清不打码| 97超碰色五月| 一线黄色免费性爱片| 国产精品毛片?v一区二区三区| 91欧美偷拍| 一起草欧美| 精品女同一区| 麻豆国产尤物AV| 97在线观看| 久久曰曰| 五月色网| 国产精品视频91久久| 麻豆 亚洲 97| 综合久| 欧美组图日韩亚洲中文字幕| 大香蕉啪啪啪啪在线| 91强奸乱轮| 欧美大片91| 啊啊啊啊啊啊好湿好爽视频| 69XX一中文字幕人妻91| 97在线资源| 嗯啊不要啊在线| 国产三级资源在线观看| 伊人色综合欧美| 久极品在线观看| 色婷婷狠狠18禁| 成人青青草原伊人| 极品另类| 天天干天天日天天射黄色片| 亚洲天堂久| 亚洲春色一区二区三区| 超碰性爱97| 亚洲色图欧美视频| 天美精品原创av片国产| 少妇第一页| 日韩人妻精品久久久久| 大香焦A片| 97视频在线观看免费高清| 国产婷婷一区| 激情五月激情综合网| 日本黄色精品专区网站| 老司机香蕉久久久久| 欧美日韩理论一区| AV老汉| 亚欧美综合网| 水野优香在线观看| 久久久久久久九九九九九九| 国产嫩草精品A88AV| 精品然女一区二区| 91亚洲人电影| 国产日韩色综合| 大香蕉伊人75| 天天射夜夜| 欧美日韩97在线| 国产亚洲人妻综合日韩 久久| 国产 日韩 欧美高清| 天天插夜夜爽| 麻豆综合一区av| 免费男人的天堂| 另类av综合久久| 久久久精久久久| 2018色综合天天操| 欧美丝袜制服久久| 亚洲中文字幕精品一区| 香蕉99秘 一区精品蜜桃臀| 日本久久999| 欧亚久久偷拍视频| 岛国小电影| 99热91| 亚洲国产成人精品无码专区| 亚洲国产av中文字幕久久| 国产日韩久久| 亚洲男人天堂手机版| 成年人免费观看网站| 成人欧美日超碰| 艳尻美人妻| 中文字幕少妇色| 中文字幕一区二区三区蜜臀| 欧美久久九九| 2021国产成人精品久久| 日韩欧美麻豆| 天天综合网亚洲综合网| 牛黄色久午久| 乱伦AVxx| 久久精品国产精品亚洲艾通辽熟妇| yw尤物av无码点击进入麻豆| 黑人粗大V S日韩女优视频| 9久精品视频在线观看| AV丝袜少妇| 欧美在线伊人色| 青青草九九九九九| 九九视品黄色| 少妇免费视频| 开心六月色| 麻豆久久久久久久久丝袜 | 最新av中文字幕高清| 五月亭亭六月丁香| 久久性爱视频免费看| 色色毛片| 日韩中文字幕国产| 国产中文精品一区二区在线观看| 亚洲最大成人a毛毛片| 亚洲欧洲综合成人av一区| 国产野战露脸在线播放| 人妻系列无码专区中文有码| 五月天激情四射| 欧亚第一综合网| 久久天堂网| av天堂电影网| 丁香五月天久久精品视频一区二区三区| 蜜桃精久三区| 国产无码三级视频在线观看| 欧美色图在线视频少妇| 亚洲一二三四区机械| 日本超碰在线国产一区| 日韩伦理视频| 丝袜视频一区二区在线播放国产中文| 日韩欧美资源| 91欧美情色| 久操精品| 2019天天干天天操| 巨爆乳肉感一区二区三区竹菊影视| 色情五月综合婷婷| 狠狠躁AV| 欧美中文字幕男人天堂久久精品 | www.操| 91 丝袜在线| 亚洲和欧美裸体美女双飞视频| 91高潮喷水美女| 欧中美三级一区二区三区| 操东北女人| 五十路三区在线| 色婷婷六月| 91色综合色| 精品日韩中文在线| 老熟女熟妇| 精品午夜福利导航| 国产日韩无码一区二区三区久久区| av网站国产主播在线| 无色无码| 六月婷激情福利天堂69| 人妻少妇久久中文| 久久久九九九| 人人操人人大香蕉| 熟妇人妻一区二区三区| 一区二区三区色综合| 99rre在线精品99re8| 强奸乱伦 亚洲一区| 午夜精品久久久久久久99蜜桃一| 综合网,亚洲,欧美| 久久久性少妇| 国产午夜福利专区综合| 99久久网站| 亚洲欧洲日产国产综合网| 亚州,欧美在线| 欧美性生活男人的天堂| 操操啪| 天天摸夜夜操视频| 97超碰超碰| 牛牛aV| 蜜臀久久99精品| 91人人| 国产熟女无套内射| 2017,超碰| 97日本超碰综合| 不卡在线观看视频| 久久天天躁日日躁狠狠躁| 天天视频网站黄| 欧美日韩免费专区在线| 热久久九九热| 78超碰| 亚洲古典另类欧美在线| 国产13区| 91天堂| 日韩A优精品在线观看| 亚洲五月丁香花狠狠干一区二区三区 | 久久av成人无码免费| 91暧暧| 日韩综合色图| 亚洲第一在线视频| 中国熟女91| AV一起草在线| 嗯啊不要啊啊在线观看视频| 97超碰香蕉| 成人av免费观看| 加勒比久久av| 国产宅男宅女在线观看| 国产精品网站www| 天天看夜夜看日日干| 国产免费永久精品无码| 丝袜狠狠草尤物 91| 激情五月天插| 欧美九九爱| 丁香九月婷婷| 久热这里| 国产91美女视频| 亚洲国产无码精品首页久久久| 91丝袜美腿片| 成年人三级黄色片视频| 无码久| 先锋激情∨在线视频播放| 天天日日舔舔| 日本熟妇浓毛hdsex| 精品国产网站| 老女人综合网| 日本一区二区电影网站| 日韩啪啪视频| 天天操av懂色| 久96热在线观看视频| 亚洲色堂免费视频| 日韩一级久久毛片| 情色五月天久久久| 免费一级a毛片久久久久久鸭绿欲| 欧美熟妇乱码在线一区| 天堂v无码免费视频| 高清不卡一二三区视频......| 久久久久久97| 日韩欧美成人大香蕉| 欧美激情性久久久久久| 久久女同性恋一二区| 人人操人人搞人人草| 黄久在线| 热九九精品| 少妇高潮九九九九| 国产专区路线| AV和黑人在线播放| 一区二区视频你懂的| 国产偷拍自拍在线视频| 竹菊一区二区三区AV线| 五月丁香六月激情| 欧美乱伦专区| 九九九九九九九九九九精品视频| 亚洲精品日日夜夜52| 黄页| 九九久久99| 亚洲高清无码在线桃色| 久久久涩| 人妻精品综合中文字幕在线| 亚洲色图尤物视频| 国产三级中文字幕粉嫩| 色香阁在线| 国产精品久久久久久照片| 亚州Av天美传媒| 亚洲丝袜二区| 91丨九色丨国产丨人妻在线 | 日本三级精品| 精品国产99| 福利在线观看一区二区| 国产综合久久久麻桃个| 男生女生啊啊啊啊| 无遮挡h肉动漫在线观看| 易易A毛视频| 黑人中出21连凳花野真衣| 人人摸人人添人人操| 91欧美色| 国产av热热色| 五月天婷婷成人网| 天天色,天天干,天天干| 男女啊啊啊| 国产25页| 久久精品人体| 偷拍自拍在线视频观看| 69视频入口| 蜜桃网熟妇| 国产少妇与亚洲av| 亚洲午夜福利在线影院| 久久天堂| 色哟哟av| 神马影院午夜福利久久久| 丁香六月综合激情| 精品一区二区在线针对华人免费观看这里只有精品免费观看 | 97超碰欧美手机| 91少妇香蕉久久精品| 久久久爆乳翘臀一线天伦理视频| 国产黄片精品在线| 综合色91| 97操综合| 人妻精品综合中文字幕在线 | 丰满人妻区一区二区三| 色偷偷综合91久久噜噜| 三上制服丝AV| 一区二区三区在线资源| 操比国产| 偷拍亚洲熟女视频播放| 久久精品熟妇丰满人妻99| 成人资源中文字幕在线观看| 麻豆AV短剧| 色婷五月| 人人爱人人操人人性| PMv在线观看| 大香蕉综合网| 久久精品噜噜噜成人看免欧美大片| 91熟女综合| 久久9亚洲| 日韩精品区二区三区不卡| 久久香蕉综合一本到3atv| 欧美A片中文字幕| 男人在线天堂| 热热色中文无码| 精品丰满熟妇人妻一区| 超碰碰97| 日本一二三高清| 亚洲欧美一区二区三区在钱蜜桃| av大香蕉| 天天色播| 国产精品老师| 偷看洗澡一二三区美女| 国产精品极品美女视频| 先锋影音av先锋一区| 老女人综合网| 亚洲91在线| 特色a在线上| 先锋女优在线观看视频| 青青草大香蕉视频| 玖玖无码超碰| 亚洲青青草| 综合天天。| 亚洲自拍青操视频| 久操av在线| 久久偷偷色综合蜜桃| 99re这里| 久久久久9久久久久| 中文字幕精品人妻丝袜| 人人手机欧洲亚洲国产人妻| n1038 一二三区| 有码人妻系列| 情色五月天久久久| 亚洲吊色| 欧洲精品一二三在线| 中国的操老妇女| 黄久在线| 天天搞欧美| 欧美天天综合在线| 在线97视频| 欧美不卡在线一区二区| 51久久夜色精品国产麻豆| 亚洲av噜噜噜噜噜噜| 污色区网站| 久久久精品91八戒| 日韩无码黄色片| 日韩性爱电影一区| 99久久久无码国产精品性男| 日本肉体xxxx裸交| 婷婷在线视频| 精品视频日日夜夜| 欧美色图私拍91| 人妻少妇精品久久久| 日本ZZ高免费A级视频| 欧洲精品二区| 18禁在线视频| 中国女人内射6XXXXX| 在线无码操| 久操热线| 亚洲天堂色图| 黄色不卡视频| 五月婷婷青青草娱乐伊人| 蜜臀99久久精品| 久久久亚洲| 一级特黄aaa大片在线观看成人一级片在线观看| 淫荡少妇免费| 99啪啪| 日韩丝袜人妻AV| 欧亚日韩三区| 蜜桃香蕉久草精品在线| 综合网91| 色黄色美女大长腿午夜视频| 亚洲欧美国产日本一区二区三区| 亚洲精品男人的天堂| 日han少妇无码| 四虎免费在线播放| 中英熟女操女| 熟女人妻一区二区三区| 69超碰综合| 亚洲有码第一页| 久久人妻熟女一区二区| 国产精品黑人一区二区三区| 1024人妻熟女一区二区三区| 久久婷婷五月天| www鬼畜国产男人的天堂| 久草精品视频| 玖玖久久久| 国产熟女完整版中字| 99成人| 欧美综合网1| 91综合熟女| 欧美日韩在线国产在线| 亚洲欧美成人在线| 日日黄色三级网站| 色色九区| 黄色网址在线免费观看| 啊啊啊啊啊在线观看网址 | 久久久专区| 91亚洲人| 亚洲午夜福利在线影院| 91欧美| 一区二区亚州激情久婷婷欧美| 啊啊啊啊啊啊在线观看| 日韩性爱小视频在线观看| 日韩精品高清资源在线| 91综合无码| 99久久e免费热视| 精品久久久无码| 欲女人妻性色av| 人人看黄色视频| 91碰碰碰| 男人的天堂无码| 国产无马在线| 91丝袜美女国产| 99热导航| 神马久久久久| 色播综合| 黄久在线| 国产日韩区| 亚洲欧美九九九| 国产美女高潮视频| 国产精品成人蜜臀AV在线| 日韩伦理久 久久 清纯 | 亚洲高清欧美总合| 国产亚洲日本精品在线| 曰本91情色| 操逼视频国产无套| 刺激性视频黄页| 色妇综合网| 天天干天天拍| 蜜臀AV一区二区三区| 精品亚洲国产成人AV制服丝袜| 亚洲国产精品9999在线观看| www.超碰在线| 91超碰在线观看| 欧美18老人禁| 欧美日韩人人精品| 9丨久久九九九| 日本免费专区| 久久久久网站-538在线视频-欧美永久乱码| 三级日本一区二区三区| 中文字幕av色| 国产高清午夜成人在线观看| 久久国产视频性吧| 91色花堂| 色墦五月丁香| 日1区2区3区2020| 欧美性爱精品一区二区| 久久女同性恋一二区| 中文字幕奈奈美被公侵犯| 久久偷拍人| 家庭乱伦国产精品| 中文字幕在在线观看网站| 蜜桃狠狠色伊人亚洲综合网站| 日本一本一区二区三区四区五区欧美日韩中文字幕 | 怡红院一区二区熟女人妻| 97精品在线| 97欧美性爱| 国产精品电| 日本精品高清一二区一本到| 日韩人妻精品| 一区在线国产播放| 免费男人的天堂| 97精品综合久久| 美女91AV| 熟妇人妻一区二区三区| 国产午夜精品理论片一二三区区| 免费黄色片。| 男人的天堂在线| 操高情无码| 中出20p| 欧日韩不卡视.频| 九九九精品| 九九九久久久久| 九九久久一区二区伦理| 蜜汁欧美| 内射日韩大臀美女| 男人天堂黄片| 一本一首道人妻少妇免费久久| 97资源视频| 精品人妻一二三四区视频| 探花一区在线| 亚州综合色| 色爱欲亚洲| 亚州AV无码国产精品| 啊啊啊啊免费视频| 99www.bibizy香蕉资源国产一区二区三区高清| 小日子操bb在线看| 人妻人久久精品中文字幕| 99∨VTV| 9色国产精品一区粉嫩| 试看福利| 女人爽到高潮潮喷18禁网站| 97超碰色色| 在线天堂999| 十八禁的黄污污免费网站| 久久粉色| 久久鲁夜| 婷婷激情四射| 天天夜躁日日躁狠狠2002| 在线 欧美 亚洲| 中文字幕在线观看二区三区| 新91视频.cmp| 国产精品欧美日韩久久| 亚洲女人91| 欧美大片一区二区三区| 9色在线| 91影库| 国产精品乱码久久久久久久久| 极品粉嫩一区二区| 欧美v亚洲v日韩v最新在线二区| 亚洲精品97久久| 久久一本大香蕉 | 综合五月婷婷亚洲一区| 人人摸人人舔一区二区| 天美国产三级传媒| 久久精品国产AV一区二区三区| 东京热,男人的天堂| 国产精品亚洲四五区在线观看| 91人人臊| 日韩操p| 日韩无码第3页| 美女毛片999| 啊啊啊操一区| 久久精品高清AV| 天天草天天日| 老熟乱一区二区三区四区| 伊人久久久日韩一区| 91精品人妻电影| 日韩在线地址一| 日本大香蕉综合网| 内射中国少妇高清视频免费视频 | 青草香蕉网| 六月丁香五月婷婷| 国产操逼逼网| 欧亚无码视频| 亚洲无码一区成人免费午夜 | 色婷婷在线视频精品导航| www.99热| 日逼国产| 中文字幕高清精品一区| 欧美黄业| 欧美亚洲韩国视频十五区| 午夜福利区| 一区二区三区日韩欧美| 美国一区二区免费视频| Aa东京男人的天堂| 91久久久久久久久久久| www.婷婷| 亚洲中文日韩欧美大香蕉视频| 国产拍偷精品网站| 亚洲双插| 精品久久艹| 亚州熟妇精品| 求求你操操我| 蜜臀AV一区二区三区激情综合| 五月开心网| 91|九色|国产熟女| 天堂中文资源在线bt| 思思热久久成人| 性爱视频免费网址| 亚洲欧美国产va在线播放频| 东北熟女91| 91制服丝袜中文字幕| 欧美一区二区| 神马久久免费电影观看| 成人久久久精品| 10000部十八禁看电影| 丰满少妇一区二区三区四区观看| 青青草视频久久| 啪啪91| 大香交伊人网| 亚洲综合激情五月久久| 亚洲天堂 视频你懂的| 中文色综合| 影音先锋日本一区二区| 国产亚洲福利第一页丝袜| 国产品精品自在在线午夜免费| 国产精品久久蜜乳av| 精品一区二区三区麻豆| www.大香| 国产美女口爆吞精视频| 黑人精品一区二区在线播放| 中英熟女操女| 亚洲成人精品在线一区| 日韩簧片免费看| 男人把坤坤插入女人的下体| 99热免费| 嗯嗯啊在线视频| 综合网欧美在线| 蜜色网色哟哟| 日韩精品人妻系列无码天堂| 美女裸体麻豆天美蜜桃91| 亚州色图狠狠干| 97露脸精品丝袜| 男人的天堂在线| 亚洲美腿丝袜香蕉影视欧美成人| AV色女综合| 97国产|免费| 91操熟女| 亚洲精品成人动漫在线| 午夜电影在线观看无码专区| 天天天天天天天天天天干美女| 久久一区二区蜜桃| 日本不卡一区| 国产传媒午夜理伦精品| 人人看欧美性爱| 国产精品视频精品一二| 人人操AV| 久久人人爽爽爽人久久久| 老女人碰碰在线碰碰视频| 试看60秒| 东北女人高潮视频| 极品国产内射| 人人看人人爰人人操| 插欧洲美女欧美精品| 欧美国产日韩清纯唯美| 蜜臀av一区二区三区免费观看| 91亚州欧美| 久久久九九| 日夜精品| 国产一级137片内射麻豆| 色色色色网站| 成人影 天天操 亚洲| 久久精品高清无码一区| 亚洲风情在线观看| 国产多人在线观看视频| A 天堂在线观看视频| 欧美在线官网| 国产十八禁视频| 日本不卡一二区| 国产成人99久久亚洲综合| 国产成人在线观看综合| 四虎AV无码| 久久久久96| 岛国爱情动作片在国产AV无码专区亚洲AV漫画| av天堂天堂av日韩| 色婷婷五月天| 丁香婷婷激情五月天无毒不卡 | 亚洲视频小说| 揉揉日日日日| 日韩黄片影院| 日本熟女中文| 中文字幕97色| 久久亚洲日韩熟女精品| 国产精品蜜臀久久久久无码AV| 欧美精品1区2区3区| 99啪啪视频| 一二三区精品视频| 操逼逼中文字幕| 婷婷亚洲天堂| 欧美激情久久久久| 亚洲欧美另类激情小说| 国产精品久久久久亚洲av| 操逼网免费无码视频| 亚洲人在线| 久久久久国色αv免费观看| 久久美女国产| 三上制服丝AV| 亚洲骚逼少妇| 全免费a敌肛交毛片免费| 欧美爆操91| 亚洲黄色电影| 艹比视频国产精品| 日本97久久久精品| 久热热| 九九综合久久| 九九九九九九九九九九九九九九九女| 夜夜躁狠狠躁日日躁av| 嫖老熟女A片一二三区| 97久久免费| 九九操久久国产免费视频| 熟女熟妇一区二区三区视频| 92性色国产午夜福利在线661| 色情乱伦AV| 曰本熟女视频| 手机看片91人妻| 六月丁香啪啪啪| 99蜜月精品久久| 中日韩久久久| 亚洲情色在线| 婷婷色色五月天福利|