日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

SWIOTLB深度解析:從DMA地址難題到機密計算的關(guān)鍵角色

SWIOTLB深度解析:從DMA地址難題到機密計算的關(guān)鍵角色 最近在一套涉及機密計算環(huán)境的存儲節(jié)點上排查DMA報錯時我又被SWIOTLB這塊“老熟人”結(jié)結(jié)實實地上了一課。SWIOTLB全稱Software Input Output Translation Lookaside Buffer中文一般叫軟件IO TLB但我在實際工作中更愿意叫它“內(nèi)核的DMA轉(zhuǎn)運倉庫”。很多做內(nèi)核、虛擬化或者高性能存儲的同行可能都有類似經(jīng)歷平時壓根想不起它一旦設(shè)備驅(qū)動在dmesg里甩出一句swiotlb buffer is full或者虛擬化環(huán)境里性能出現(xiàn)詭異的斷崖式下跌才發(fā)現(xiàn)自己根本沒有真正搞懂這個模塊。這篇文章就從DMA的本質(zhì)開始講一路拆到SWIOTLB的實現(xiàn)機制和調(diào)優(yōu)參數(shù)最后落到機密計算Confidential Computing場景里它為什么反而變成了不可替代的關(guān)鍵角色。內(nèi)容會盡量側(cè)重實操怎么判斷自己在用SWIOTLB怎么給它定大小日志報錯應(yīng)該怎么排查以及機密計算里shared/private內(nèi)存切換是怎么逼著內(nèi)核把SWIOTLB拿出來的。適合正在折騰Linux內(nèi)核DMA驅(qū)動、虛擬化IO路徑或者剛開始接觸SEV/TDX機密計算環(huán)境的工程師。1. 為什么要先聊DMA一次數(shù)據(jù)搬運背后的地址難題1.1 從PIO到DMA把CPU從“搬運工”位置上解放出來早期的外設(shè)驅(qū)動跟設(shè)備交換數(shù)據(jù)基本靠CPU一條指令一條指令地往IO端口里寫數(shù)據(jù)這種方式叫PIOProgrammed I/O。打個比方CPU就是個倉庫管理員每次貨物進出都要管理員親手去搬管理員忙個半死倉庫吞吐量卻上不去。后來硬件上引入了DMADirect Memory Access設(shè)備控制器可以繞過CPU直接在內(nèi)存和設(shè)備之間搬運數(shù)據(jù)。CPU只需要告訴設(shè)備“源地址在哪、目標(biāo)地址在哪、要搬多少”然后就可以去處理別的事情DMA控制器搬完再發(fā)個中斷通知一下就行。這個機制看起來非常美好但埋了一個很關(guān)鍵的問題DMA控制器真的能訪問物理內(nèi)存里的任意地址嗎在很多普通讀者看來內(nèi)存就是內(nèi)存地址就是地址??稍谡鎸嵪到y(tǒng)里設(shè)備能看到的地址空間和CPU通過頁表看到的物理地址空間并不是一回事。設(shè)備側(cè)的DMA能力受硬件設(shè)計限制比如一個網(wǎng)卡可能只能尋址32位地址空間也就是最大4GB而服務(wù)器內(nèi)存可能已經(jīng)插到了128GB甚至512GB。CPU可以通過內(nèi)存管理單元MMU把進程地址映射到任意物理頁面但設(shè)備通常沒有這么完整的MMU能力或者即使有有些設(shè)備的地址線就是不夠用。這時候CPU管理的物理內(nèi)存和設(shè)備能訪問的內(nèi)存之間出現(xiàn)了一個“夠不著”的鴻溝。怎么解決最直接的辦法就是在內(nèi)存里劃一塊設(shè)備肯定能訪問的區(qū)域把數(shù)據(jù)先放到那里再讓DMA控制器去搬。這就是SWIOTLB誕生的原始動機之一。在后續(xù)的內(nèi)核演化中這個“中轉(zhuǎn)區(qū)域”的用途越拓越寬最后連機密計算場景都離不開它。1.2 設(shè)備能訪問的內(nèi)存不等于物理內(nèi)存DMA mask與地址約束每個DMA設(shè)備都有一個“地址能力上限”Linux內(nèi)核里用dma_mask來表示。比如一個老式PCI網(wǎng)卡只能尋址32位地址那么它拿到的DMA地址必須落在0到4GB范圍之內(nèi)否則設(shè)備就語法理解不了這段地址。我們調(diào)試驅(qū)動時經(jīng)常會看到類似dma_set_mask_and_coherent的代碼就是在跟內(nèi)核聲明“我這個設(shè)備能處理多少位地址”。問題在于x86服務(wù)器上很多內(nèi)存條插槽對應(yīng)的物理地址并不低。尤其在現(xiàn)代系統(tǒng)里物理地址分布可能很離散PCIe的MMIO窗口、內(nèi)存熱插拔區(qū)域、多路處理器之間的地址交錯都會讓“低位物理內(nèi)存”變得稀缺。即使系統(tǒng)只有64GB內(nèi)存想讓一個大塊DMA緩沖區(qū)落在4GB以內(nèi)往往也不是一件容易的事。更麻煩的是很多驅(qū)動使用dma_alloc_coherent()想一次性分配大塊連續(xù)的DMA緩沖區(qū)比如幾百MB低端內(nèi)存區(qū)域早就被內(nèi)核的頁表、啟動參數(shù)、initrd等占完了哪還有這么大片的低端連續(xù)內(nèi)存。于是在沒有IOMMU、或者IOMMU被禁用/旁路passthrough的情況下內(nèi)核就只能在低端內(nèi)存里預(yù)先劃出一塊相對固定的區(qū)域把這些DMA操作“匯聚”到這塊區(qū)域里執(zhí)行。這塊區(qū)域就是SWIOTLB緩沖區(qū)。需要強調(diào)的這個設(shè)計并不是完美的因為代碼路徑里不可避免要多一次內(nèi)存拷貝從真正的數(shù)據(jù)緩沖區(qū)拷到SWIOTLBDMA設(shè)備再從SWIOTLB搬運。這也是很多人抱怨SWIOTLB性能損耗的根本來源。1.3 IOMMU并不是萬能的解決方案不少讀者可能會想現(xiàn)在服務(wù)器不是都有IOMMU嗎Intel叫VT-dAMD叫IOMMU開了之后設(shè)備就能通過IO頁表訪問任意物理地址SWIOTLB是不是可以退休了理論上確實如此有完整IOMMU的設(shè)備DMA地址翻譯可以做到和CPU頁表類似的靈活映射設(shè)備無需限制在低端地址區(qū)域也無需做反彈緩沖拷貝。但現(xiàn)實很骨感。第一大量輕量級嵌入式平臺和部分低端服務(wù)器并沒有完整的IOMMU支持或者固件默認(rèn)不開啟。第二IOMMU開啟后會帶來額外的TLB開銷和頁表維護成本某些高性能存儲或網(wǎng)絡(luò)場景反而會選擇iommupt旁路掉換取更低的延遲。第三即使IOMMU存在設(shè)備一旦做SR-IOV虛擬化VF的DMA路徑可能走不了完整翻譯仍然要退回swiotlb或類似機制。第四在機密計算場景下IOMMU還面臨更復(fù)雜的shared/private內(nèi)存權(quán)限問題單純靠IOMMU并不能解決所有DMA隔離。所以在現(xiàn)代內(nèi)核中SWIOTLB不僅沒有消失反而因為虛擬化和機密計算的發(fā)展變成了更加核心的一塊基礎(chǔ)設(shè)施。只是它不再單純解決“32位設(shè)備訪問高內(nèi)存”的老問題而是承擔(dān)起了“內(nèi)存加密時代DMA如何安全訪問數(shù)據(jù)”的新職責(zé)。2. SWIOTLB到底是什么一個“軟件中轉(zhuǎn)站”的完整拆解2.1 內(nèi)核里那塊“轉(zhuǎn)運倉庫”是怎么被創(chuàng)建的把SWIOTLB理解成“轉(zhuǎn)運倉庫”非常貼切內(nèi)核在啟動早期從低端物理內(nèi)存中劃出一塊連續(xù)區(qū)域?qū)iT用來承接那些設(shè)備無法直接訪問的內(nèi)存數(shù)據(jù)。這塊區(qū)域在內(nèi)核里對應(yīng)一個全局結(jié)構(gòu)體struct io_tlb_mem其中維護了一個固定大小的內(nèi)存池io_tlb_orig_addr、位圖io_tlb_used等元數(shù)據(jù)用來記錄哪些slot已經(jīng)被占用。池子基本單位是slot一個slot的大小通常是2KiB對應(yīng)內(nèi)核里的IO_TLB_SHIFT。默認(rèn)情況下的區(qū)域大小是64MiB換算下來也就是32768個slot。如果你在啟動參數(shù)里看到swiotlb131072含義是“我要131072個slot”按每個slot 2KiB計算就是256MiB。早期內(nèi)核參數(shù)也支持直接寫字節(jié)大小不同內(nèi)核版本的解析邏輯略有差異建議先按照slot數(shù)量來理解這樣更直觀。這塊區(qū)域什么時候建立早到內(nèi)核初始化的早期階段。具體地說在mem_init之前通過swiotlb_init()或者swiotlb_init_late()來預(yù)留。如果預(yù)留太晚低端內(nèi)存可能已經(jīng)被各種分配器瓜分得七零八落就很難拿到足夠大的連續(xù)物理區(qū)域了。這也是為什么修改SWIOTLB大小后必須修改內(nèi)核啟動命令行并重啟而不能像個普通內(nèi)核參數(shù)一樣sysctl動態(tài)修改的原因。2.2 一次完整的數(shù)據(jù)映射流程map/拷貝/unmapSWIOTLB的工作流程看起來非常簡單但每一步都有講究。當(dāng)一個驅(qū)動準(zhǔn)備發(fā)起DMA讀或DMA寫時它通常會調(diào)用dma_map_single()或dma_map_sg()內(nèi)核會走到DMA層再根據(jù)設(shè)備能力決定是否走SWIOTLB路徑。整體流程大致是這樣的驅(qū)動傳入一個原始緩沖區(qū)地址內(nèi)核檢查這個地址是否在設(shè)備DMA mask可尋址范圍內(nèi)。如果在且設(shè)備本身愿意直接用則不經(jīng)過SWIOTLB直接映射原地址。如果地址超出設(shè)備能力范圍或者當(dāng)前環(huán)境強制走SWIOTLB比如mencrypt開啟的時候內(nèi)核就從SWIOTLB池中分配一個或多個空閑slot充當(dāng)“替身地址”。如果是DMA寫操作從內(nèi)存到設(shè)備內(nèi)核需要先把原始緩沖區(qū)內(nèi)容拷貝到這張SWIOTLB slot里然后把slot對應(yīng)的物理地址交給DMA控制器。如果不拷貝設(shè)備搬到的就會是它“看不懂”的高地址。如果是DMA讀操作從設(shè)備到內(nèi)存DMA會先把數(shù)據(jù)搬到SWIOTLB slot里內(nèi)核再等設(shè)備操作完成后把數(shù)據(jù)從slot拷回原始緩沖區(qū)并釋放slot。驅(qū)動調(diào)用dma_unmap_single()或dma_unmap_sg()時SWIOTLB層完成清理和狀態(tài)復(fù)位。從上面的過程能看出來SWIOTLB本質(zhì)上是一個“反彈緩沖區(qū)”bounce buffer。這種設(shè)計換來了通用性付出的代價就是數(shù)據(jù)路徑上多了一次內(nèi)存拷貝。用大白話說原本設(shè)備可以直接從倉庫A區(qū)取貨現(xiàn)在必須先把A區(qū)的貨全部搬到中轉(zhuǎn)倉B區(qū)設(shè)備再到B區(qū)取貨取完再把剩余信息搬回A區(qū)。一次DMA變成至少兩次內(nèi)存復(fù)制對吞吐量和延遲都有影響。2.3 它和傳統(tǒng)IOMMU的關(guān)系與區(qū)別很多資料會把SWIOTLB和硬件IOMMU放在一起對比這沒什么問題但要注意它們不是二選一而是在不同層面解決DMA地址翻譯的問題。硬件IOMMU是設(shè)備側(cè)的頁表翻譯器。內(nèi)核把設(shè)備要訪問的物理頁面映射進IO頁表設(shè)備發(fā)出的DMA地址先經(jīng)過IOMMU翻譯再訪問物理內(nèi)存。這有點像給設(shè)備配了一副“眼鏡”原本看不清高地址戴上眼鏡之后就能看了。IOMMU的映射開銷主要在頁表維護和TLB miss上數(shù)據(jù)本身不需要拷貝所以帶寬損耗通常遠小于SWIOTLB。SWIOTLB則是純軟件方案不需要硬件芯片參與。它通過“預(yù)先設(shè)置好交易時轉(zhuǎn)運”的方式繞開設(shè)備地址能力限制。沒有IOMMU的時候SWIOTLB兜底有IOMMU但某些設(shè)備不支持、或者被配置成旁路模式時SWIOTLB也能繼續(xù)兜底。我在很多實際項目里的經(jīng)驗是系統(tǒng)里同時存在IOMMU和SWIOTLB很常見不要因為開了IOMMU就默認(rèn)SWIOTLB完全沒用。兩者在驅(qū)動模型中的位置也不同。IOMMU通常掛在DMA層之下如果dma_map_ops包含iommu相關(guān)的實現(xiàn)dma map請求會走iommu路徑如果沒有再落到direct DMA或者swiotlb路徑。具體到代碼里就是dma_direct_map_page和swiotlb_map之間的先后關(guān)系。理解這一點后面看性能瓶頸才不容易跑偏。3. 怎么判斷自己正在依賴SWIOTLB以及性能影響有多大3.1 裸機與虛擬機里的常見觸發(fā)場景SWIOTLB在哪些場景里最容易被觸發(fā)首先就是老設(shè)備驅(qū)動跑在現(xiàn)代大內(nèi)存機器上。比如某些專業(yè)聲卡、老舊的USB控制器、部分FPGA板卡自帶的DMA引擎dma_mask可能只有30位或者32位一旦驅(qū)動申請的緩沖區(qū)落在高位內(nèi)存內(nèi)核只能通過SWIOTLB中轉(zhuǎn)到低位。這類問題在嵌入式Linux平臺上尤其常見很多外設(shè)DMA控制器設(shè)計比較簡陋不支持64位尋址。第二種場景是虛擬機guest。虛擬機里的virtio等半虛擬化設(shè)備通??梢詤f(xié)商較寬的DMA mask但很多模擬設(shè)備或者直通設(shè)備對地址范圍有限制。尤其在x86虛擬化環(huán)境里Guest物理地址經(jīng)過EPT擴展頁表轉(zhuǎn)換后真實物理地址可能在極高位DMA控制器如果沒有配合VT-d做地址翻譯就只能退回SWIOTLB。這就是為什么很多人在虛擬機里跑存儲性能測試會看到比裸機明顯更高的拷貝開銷。第三種場景是系統(tǒng)沒有開啟IOMMU。很多默認(rèn)配置下Linux為了兼容性會保留SWIOTLB能力甚至某些發(fā)行版會打印swiotlb: defaulting to cmdline size之類的日志。我們常調(diào)侃它屬于“平時靜悄悄關(guān)鍵時刻掉鏈子”的代碼路徑性能測試?yán)锊蝗菀鬃⒁庵钡侥承┨囟↖O模型把slot池打滿才會爆發(fā)問題。3.2 性能開銷多一次拷貝到底有多痛關(guān)于SWIOTLB性能損耗網(wǎng)上很多說法是“一次額外拷貝影響可以接受”。但我實測下來這個說法太理想了。額外拷貝在不同場景下的放大效應(yīng)完全不同。順序讀寫大塊數(shù)據(jù)的場景里假設(shè)DMA本身帶寬是2GB/s額外一次內(nèi)存拷貝雖然增加了幾十微秒的延遲但吞吐量可能只掉十幾個百分點。但是小包高吞吐的網(wǎng)絡(luò)/存儲場景比如NVMe隊列深度很高、每個請求只有4KB甚至更小SWIOTLB的slot分配和內(nèi)存拷貝開銷會非常顯眼。更棘手的是如果SWIOTLB池大小不夠驅(qū)動在分配slot時會等待或直接報錯延遲就會出現(xiàn)嚴(yán)重的毛刺。除了拷貝本身還有cache一致性的問題。DMA讀操作結(jié)束后CPU需要讀取被打到SWIOTLB區(qū)域的數(shù)據(jù)這塊區(qū)域在DMA控制器寫入后必須在CPU cache里做invalidate操作寫操作之前則要做clean/flush操作。雖然現(xiàn)代CPU普遍支持硬件cache coherent DMA但在某些架構(gòu)或者特定配置下這個開銷并不為零。這也是為什么很多性能敏感型驅(qū)動會想盡辦法避開SWIOTLB路徑。3.3 用內(nèi)核日志和事件快速確認(rèn)SWIOTLB在工作如果你不確定系統(tǒng)到底有沒有走SWIOTLB最簡單的方法是在啟動后執(zhí)行dmesg | grep -i swiotlb如果啟用了SWIOTLB你會看到類似software IO TLB: mapped ... bytes或swiotlb: dynamic allocation的日志。老版本內(nèi)核可能打印PCI-DMA: Using software bounce buffering for IO (SWIOTLB)看到這類信息基本就知道它已經(jīng)在工作了。想進一步觀察運行時是否頻繁被使用可以結(jié)合內(nèi)核trace事件?,F(xiàn)代內(nèi)核在SWIOTLB路徑埋了swiotlb_bounced之類的tracepoint雖然不是所有發(fā)行版都默認(rèn)開啟但我們可以用perf或者tracefs嘗試perf record -e swiotlb:* -a -- sleep 10 perf script如果當(dāng)前內(nèi)核沒有對應(yīng)tracepoint另一個笨辦法是用bpftrace掛swiotlb_map或swiotlb_alloc這類內(nèi)核函數(shù)統(tǒng)計調(diào)用次數(shù)。這個動作需要root權(quán)限而且生產(chǎn)環(huán)境上操作要謹(jǐn)慎。拿到數(shù)據(jù)之后就能量化評估SWIOTLB在整個IO路徑中的參與比例避免靠猜。4. 機密計算是怎么改變DMA規(guī)則的4.1 內(nèi)存加密之后設(shè)備突然“看不懂”內(nèi)存了前面講的都是地址空間問題到了機密計算這里問題又多了一個維度內(nèi)存內(nèi)容被加密了。機密計算的核心訴求是保護使用中的數(shù)據(jù)宿主機的內(nèi)核、hypervisor甚至物理機管理員都不該看到虛擬機內(nèi)部的內(nèi)存數(shù)據(jù)。AMD SEVSecure Encrypted Virtualization和Intel TDXTrust Domain Extensions都采用了內(nèi)存加密方案CPU把內(nèi)存中的機密數(shù)據(jù)用硬件密鑰進行加密只有特定的可信上下文才能解密。這就帶來一個尷尬局面普通DMA設(shè)備不具備解密能力。設(shè)備在搬運內(nèi)存時拿到的是物理地址上的密文可它需要的卻是能直讀的明文。如果設(shè)備是加密引擎、TEE安全芯片這類專門組件那么它可以配合做加解密但普通的NVMe控制器、網(wǎng)卡不會自帶客戶機密內(nèi)容的解密邏輯強行把機密內(nèi)存暴露給DMA要么數(shù)據(jù)出錯要么安全邊界崩潰。系統(tǒng)怎么解決答案是把內(nèi)存分成兩種類型private私有加密內(nèi)存和shared共享明文內(nèi)存。在SEV里通過C-bit標(biāo)記在TDX里通過Shared Bit標(biāo)記。CPU訪問private內(nèi)存時自動用客戶密鑰解密訪問shared內(nèi)存時不加密。機密虛擬機里運行的應(yīng)用、內(nèi)核核心數(shù)據(jù)通常都在private內(nèi)存中而需要與外部設(shè)備共享的數(shù)據(jù)則放在shared內(nèi)存中。DMA設(shè)備能直接訪問的只有shared內(nèi)存。4.2 SEV/TDX里的shared/private內(nèi)存切換內(nèi)核在機密計算環(huán)境中經(jīng)常要做內(nèi)存屬性的切換這就是Linux中set_memory_decrypted()和set_memory_encrypted()這對API干的事。名字寫得很直白decrypted就是讓一段內(nèi)存變成sharedencrypted就是收回成private。聽起來很簡單但實際操作非常敏感。在x86 SEV環(huán)境下變更內(nèi)存加密屬性實際上涉及頁表項的C-bit翻轉(zhuǎn)還要考慮有沒有其他CPU正在并發(fā)訪問這塊內(nèi)存以及IOMMU頁表緩存是否還保留舊映射。在TDX環(huán)境下shared/private切換還要和TDX module通信做一系列安全檢查。如果搞亂了這個狀態(tài)輕則DMA讀到錯誤數(shù)據(jù)重則觸發(fā)安全漏洞或者系統(tǒng)性故障。那么DMA緩沖區(qū)到底該放哪邊答案是放在shared內(nèi)存里。但問題來了內(nèi)核里很多通用驅(qū)動申請DMA緩沖區(qū)時并不知道自己運行在機密環(huán)境里也不會主動去調(diào)用set_memory_decrypted()。如果把private內(nèi)存直接交給普通DMA設(shè)備設(shè)備訪問時要么無法訪問要么就會數(shù)據(jù)錯亂。4.3 為什么機密計算反而離不開SWIOTLB這正是SWIOTLB在機密計算里翻身當(dāng)主角的關(guān)鍵原因。與其讓每個驅(qū)動都去適配shared/private邏輯不如讓SWIOTLB變成一個“永遠放在shared內(nèi)存里的固定轉(zhuǎn)運站”。所有DMA數(shù)據(jù)都先從private內(nèi)存拷貝到SWIOTLB的shared緩沖區(qū)然后DMA設(shè)備再訪問SWIOTLB。這樣對驅(qū)動來說它根本不需要關(guān)心內(nèi)存加密屬性只需要照常走DMA API內(nèi)核在SWIOTLB層完成了shared/private的隔離。以Intel TDX為例內(nèi)核在TDX guest里會強制掉進SWIOTLB路徑原因就是所有設(shè)備DMA都需要經(jīng)過shared bounce buffer。AMD SEV場景也類似啟用mem_encrypton之后內(nèi)核會把SWIOTLB作為默認(rèn)的DMA回落方案。如果忽略了這一層很多DMA操作會在虛擬機里直接失敗或者靜默產(chǎn)生校驗錯誤。這也是為什么每次我接到“虛擬機里NVMe盤寫著寫著掉盤”“虛擬機網(wǎng)絡(luò)吞吐忽高忽低”這類排查需求時第一反應(yīng)就是去看SWIOTLB有沒有成為瓶頸而不是一上來就懷疑物理網(wǎng)卡或者SSD有問題。坦白說在每個機密計算環(huán)境里都存在SWIOTLB額外拷貝性能損失是在所難免的。但這是用一部分性能換安全邊界的完整性。除非硬件廠商實現(xiàn)了完善的shared I/O DMA引擎或者IOMMU直接支持共享映射否則SWIOTLB就是業(yè)界目前最通用、最不依賴特定硬件平臺的方案。4.4 安全邊界與性能取舍在機密計算里使用SWIOTLB還帶來一些安全設(shè)計上的細節(jié)值得展開講一講。第一SWIOTLB緩沖區(qū)本身是shared明文內(nèi)存它里面的數(shù)據(jù)在DMA完成后不能殘留敏感信息所以內(nèi)核在做slot釋放時會做適當(dāng)?shù)那謇韯幼?。第二shared內(nèi)存對hypervisor而言是可讀的所以機密計算環(huán)境里的SWIOTLB區(qū)域應(yīng)該盡量只承載設(shè)備DMA數(shù)據(jù)不要拿來當(dāng)普通內(nèi)存亂存用戶隱私。第三SWIOTLB緩沖區(qū)大小必須足夠覆蓋預(yù)期DMA并發(fā)量因為如果slot池耗盡更糟糕的結(jié)果不是在低性能中運行而是直接出現(xiàn)IO錯誤。性能取舍方面我通常給客戶的建議是先監(jiān)控SWIOTLB的使用峰值。如果確認(rèn)超過了池容量優(yōu)先調(diào)整啟動參數(shù)擴大池大小如果頻繁出現(xiàn)滿池但實際并發(fā)不高則要檢查驅(qū)動是不是用DMA方式做了本來可以用PIO完成的小數(shù)據(jù)量操作。很多嵌入式驅(qū)動為了省事把串口、SPI、I2C這類低速設(shè)備的收發(fā)全掛到DMA上其實這類傳輸根本不需要這么大的并發(fā)窗口只是浪費了SWIOTLB slot。做一個簡單的QoS分流比盲目加內(nèi)存有效得多。5. 調(diào)優(yōu)、避坑與實戰(zhàn)排障5.1 SWIOTLB大小怎么定確定SWIOTLB大小最直接的方法是看業(yè)務(wù)的實際DMA并發(fā)量。假設(shè)一個NVMe驅(qū)動單個請求涉及的最大數(shù)據(jù)量是1MiB隊列深度是256那么理論上最壞情況需要256MiB的DMA映射空間。但實際情況往往沒那么極端因為部分請求可能不會全部同時走SWIOTLBIOMMU或者設(shè)備的高位尋址能力也能分擔(dān)一部分。保守起見可以先用默認(rèn)64MiB跑一段時間業(yè)務(wù)觀察是否出現(xiàn)swiotlb buffer is full或者tracepoint觸發(fā)的頻繁等待再決定是翻倍到128MiB還是256MiB。修改方式是在內(nèi)核啟動參數(shù)中追加# 每個slot 2KiB131072表示256MiB swiotlb131072在GRUB環(huán)境里通常編輯/etc/default/grub的GRUB_CMDLINE_LINUX然后執(zhí)行g(shù)rub2-mkconfig -o /boot/grub2/grub.cfg并重啟。需要注意內(nèi)存碎片嚴(yán)重的系統(tǒng)在啟動早期可能申請不到巨大的連續(xù)物理內(nèi)存如果設(shè)置的SWIOTLB過大導(dǎo)致啟動失敗需要適當(dāng)降低。另一個方向是徹底禁用SWIOTLB使用swiotlb0但只建議在確認(rèn)設(shè)備、IOMMU、內(nèi)存加密等路徑都不需要它的場景里操作否則很容易引發(fā)DMA無法映射的嚴(yán)重問題。5.2 日志與排查那些讓人抓狂的DMA報錯SWIOTLB相關(guān)的常見報錯其實沒有太多花樣但每個都足以讓人頭疼一陣。我整理過一張自查表基本能覆蓋大部分情況常見日志含義處理思路swiotlb buffer is fullSWIOTLB slot耗盡DMA請求無法獲得中轉(zhuǎn)緩沖區(qū)擴大SWIOTLB減少DMA并發(fā)檢查是否泄漏DMA: Out of SW-IOMMU space類似上一項部分內(nèi)核用這個打印同上同時檢查驅(qū)動是否頻繁map/unmapswiotlb: coherent allocation failed一致性DMA內(nèi)存分配失敗增加連續(xù)內(nèi)存或調(diào)整一致性內(nèi)存池大小Cannot allocate memory for SWIOTLB啟動時SWIOTLB預(yù)留失敗檢查內(nèi)存碎片降低SWIOTLB大小Cache/IOMMU conversion failed內(nèi)存加密屬性或IOMMU映射切換失敗多與SEV/TDX的shared/private切換有關(guān)排查時要做的第一件事不是改參數(shù)而是搞清楚報錯出現(xiàn)的頻率和上下文。我見過一個案例某驅(qū)動在中斷上下文里調(diào)用DMA映射函數(shù)但該函數(shù)在某些配置下可能睡眠等待slot導(dǎo)致內(nèi)核異常。這種報錯表面看是SWIOTLB空間不夠本質(zhì)是驅(qū)動設(shè)計違反了原子上下文約束。所以看到swiotlb buffer is full時先把dmesg里的調(diào)用棧保存下來結(jié)合/proc/interrupts和驅(qū)動源碼確認(rèn)調(diào)用上下文再做參數(shù)調(diào)整。5.3 我的調(diào)優(yōu)建議與個人體會最后分享幾個我在實際項目里反復(fù)踩過坑以后總結(jié)出的經(jīng)驗。第一SWIOTLB不是性能問題的原罪很多場景真正的瓶頸是驅(qū)動頻繁map/unmap帶來大量拷貝和cache操作。與其盲目擴大SWIOTLB不如優(yōu)化驅(qū)動把零散的DMA請求合并成dma_map_sg批量請求減少映射次數(shù)。第二在虛擬化或機密計算環(huán)境里如果業(yè)務(wù)對延遲極其敏感可以考慮把存儲隊列深度適當(dāng)降低讓并發(fā)DMA請求數(shù)控制在SWIOTLB能力范圍內(nèi)這樣雖然隊列深度低了但總體時延反而穩(wěn)定。第三設(shè)置完SWIOTLB之后一定要做壓力測試不要只測順序讀寫還要測高并發(fā)隨機讀寫和冷啟動瞬時IO峰值真正打滿slot池之后才能暴露配置是否合理。我個人的體會是SWIOTLB屬于那種“平時你看不見它出問題時它比誰都重要”的底層設(shè)施?,F(xiàn)在的內(nèi)核代碼已經(jīng)相當(dāng)完善文檔資料也不算少但真正讓它發(fā)揮價值還是要回到對DMA路徑的理解上誰在訪問內(nèi)存、設(shè)備能不能訪問、中間有沒有加密隔離。搞懂了這三件事SWIOTLB就不再是一個神秘的啟動參數(shù)而是一塊可以預(yù)判、可以計劃、可以兜底的安全墊。希望這篇文章能幫你在下次遇到DMA相關(guān)疑難雜癥時少走一點彎路。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月天九九日国产精品一区二区三区| 精品一区二区亚洲国产| 欧美久久人妻少妇一区二区| 亚洲欧美精品福利在线| 日韩av性爱在线播放| 色偷偷色偷偷欧美日韩| 五月丁香啪| 欧美日韩国产一区二区小黄片大全| 精品十三区| 欧美麻豆成人同性GⅤ在线| 国产精品播放| 一区超碰一区| 久久东京热成人| 欧美日韩亚洲天堂网| 日韩AV片| 色色五月婷| 蜜乳AV一区| 84YTCOM性无码| 国产噜噜噜噜噜久久久久久久久| 观看免费区二区三区二| 五月综合久久| 激情开心五月天| 五月色网| 极品色www影院| 伊人网青青| 人妻9117c| 夜夜欢天天干| 欧美天天弄| 国产精品伦理| 农村少妇久久久久久久| 欧美性夜| 色操逼网| 亚洲欧洲自拍图片专区满春格| 欧美第二页| 亚洲精品97久久中文字幕| 久久久熟女一区| 97网址97| 久久人妻一区二区三区高清| 中文字幕欧美精品亚洲日韩蜜臀| 麻豆一区二区AV天美| 日韩综合97P| 色眯眯射| 激情综合av| a人欧美综合天堂麻豆| 午夜啊啊啊| 亚州综合色图| 久久久久久少妇| 97日视频| 啊啊啊好疼| 日韩淫色网| 人妻少妇精品无码专区二区密桃| 青青草大香蕉视频| 欧美日韩国产一区二区小黄片大全| 国产女同在线观看视频| 国产剧情AV不卡在线观看| 大香蕉一区二区在线观看.| 韩国一级做a久久久久| 天天综合欧美| 欧美十八禁视频| 午夜国产综合视频在线观看 | 美国三级日本三级久久99| 粉嫩国产精品久久粉嫩| 亚洲欧综合另类无码一区| 一区二区免费电影久久| 爽极品影院| 上海一级黄片| 超碰国产在线| 丝袜综合色图| 男人把坤坤插入女人的下体| 一摸二插三插| 欧美 亚洲 在线| 亚洲学生妹高清av| gogogo免费高清看中国国语| 久草网站免费在线观看| 女人高潮抽搐喷水视频网站| 小草三级久久观看| 久久爱超碰网| 男人天堂2030| 伊人久操| 激情文学网伊人| 鲁鲁色综合网| 国产人妻精品一区二区三区秋霞| 国产日韩怡红院| 国产色图乱伦| 国产精品久久久三级无码| 亚欧性爱在线无码| 99色| 加勒比综合九九99视频在线播放| 日韩精品系列| 亚洲春色欧美激情自拍| 亚洲激情网一二三四区| a人片中文字幕一区二区| 亚洲素人综合| 中文字幕乱码人妻二区三区| 欧美日韩国产中文精品字幕自在自线,| 中文久久一区| 外站AV在线| 亚洲国产欧美另类自拍| 97九色人妻| 亚洲涩图欧美| 免费精品人妻一区二区三| 天堂种子在线www网资源| 艳尻美人妻| 久久粉色| 亚洲夜夜欢无码一区二区| 久久久久一本一区二区青青蜜月| 青青草原av| www.99色| 春色校园综合网| 五月天九九日国产精品一区二区三区| 国产AV色黄看到爽| 欧美|91色综合| 拍拍拍拍大尺度黄色三级片拍拍拍拍拍照| 久操网视频| 中文一区二区婷婷视频| 男人在线天堂| 色色色色色色色色色色色色色色综合| 极品一区二区三区免费| 五月丁香拍拍激情综合三级| 中文字幕一二三区| 欧美 亚洲 在线| 久久精品国产亚洲AV片多多| 超碰欧美在线欧美| 中文字幕性感少妇av| 久久偷拍人| 东北女人操逼| 亚洲日本成人动漫| TS人妖另类精品视频系列| 色情五月丁香| 欧美亚洲天天| 激情综合网激情五月天| 亚春色色| 夜夜爽77777| 超碰99在线| 亚洲国产第一页综合视频| 男人的天堂kva| 亚洲第2页| 国产97在线播放| 亚洲欧美国产成人综合不卡| 久久美国毛片| 亚洲精品人妻吞精av| 亚洲成人色情五月天丁香花| 久操视频资源站公开| 久久九精品| 把腿张开老子CAO烂你| 久草综合视频| 91美女中出| 精品美女人人干| 久久精品国产亚洲AV嘿嘿| 黄资源| 蜜乳AV一区| 色婷婷淫色网| 91操人视频| 色97欧美| 白丝1区2区3区| 成人国产视频在线观看| 国产二区三区粉嫩在线| 婷婷中文字幕| 日欧操屄| 日韩专区久久久| 久久性爱视频| 日韩精品字幕| 麻豆区久久久久亚| 91女网站| 26uuu国产成人综合| 欧美日韩人妻精品系列一区二区三区| 精品国产污一区二区三区| 无码不卡八戒| 夜夜嗨一区二区三区三州加勒比 | 强奸乱伦αv片| 91精品导航| 白丝1区2区3区| 2017av无码免费无线播| 国产AV线| 99热在线不卡| 91GD.COM| 国产午夜激片Av毛片不卡| 少妇高潮一区二区三区在线| 91九九九逼| 粉嫩绯色AV一区二区在线| 性天堂| 美女黑人91神马| 亚 欧 美 综合| 啊啊啊好想要| 婷婷五月av| 欧美男人天堂| 国产尤物在线三区| 亚洲色资源| 青青草操逼逼视频| 免费簧片在线观看| 波多野结衣AV无码一区| 91美女精品| 亚洲.欧美.丝袜.中文.综合| 久久久久9999妇女| 国产精品久久久三级无码| 日韩视频精品在线观看| 91欧美综合| 智利AV在线网| 97国产精品视频| 妇女视频网站| 欧美在线官网| 91 手机在线播放 绯色| 玖玖人人爱| 3p国产色噜噜一区| 国产精品久久久久久 百度| 亚洲无码 国产无码| 曰本特级特黄特色黄色A级网站高清在线免费看 | 偷拍亚洲情色| 亚洲日韩久久精品一区| 欧美精品偷拍| 精品999日本| 蜜桃久久久久久| 啊啊啊操一区| 色九九九九久| 人妻久热在线| 久久久久密| 久久9精品视频| 熟女精品一区二区在线观看| 综合操逼| 国产区日韩区在线观看| 亚洲超碰AV| 亚洲drav色图| 亚洲大色堂| 国产精品2020| 激情终合网| 亚洲欧洲日产国产综合网| 色情婷婷久久五月天| 亚洲色悠悠久久88| 日韩78m视频| 日日骚 av| 成人免费看吃奶视频网站| 啊啊啊啊啊好大好舒服想要| 综合干干干av久久久综合网 | 色婷婷基地| 丝袜熟女一区二区三区| 欧美色网络| 久久內射| 成人片视频| 日韩美脚一区二区网站| 久久e6只有精品| 性色中出| 二三四区精品| 超碰综合97在线| 欧美在线l亚洲| 美欧老女人97| 成人一级二级| 日本免费一区二区不卡| 97在线播放 | 综合色啪| 夜夜狼人妻| 草久久久| 欧美色97| 亚洲国产婷婷在线播放| 日韩成人大片在线观看| 青青青操| 美国三级日本三级久久99| 亚洲性图91| 亚欧洲日韩国产精品| 日本不卡一区二区| 中文字幕在线观看永久| 91狠狠综合久久| 麻豆 欧美 日韩| 97爱爱影院| 毛片麻豆91糖心精品毛情片| 亚洲精品九九九| 囯产精品久久久久久久久久二区三区| 色综合av男人天堂| 亚洲情色五月天 | 国产亚洲99久久精品熟| 日韩免费性爱视频在线观看| 国产精品久久久蜜臀| 中文欧丝袜诱惑| 国产精品人妻免费精品| 91精品久久综合熟女| 综合影院亚洲| 骚熟女AV网| 自拍内地三级在线观看| 18禁网站在线播放| 丝袜综合| av爱爱爱| 欲色影视综合吧| 美女好片色日本| 亚洲精品成人动漫在线| 五月婷婷深深爱| 最新av在线| 男人亚洲天堂| 婷婷精品| 99精品无码| 高清国产精品无码| 国产亚洲欧洲在线观看| 九九九免费视频| 国内精品a| 中文字幕丝袜人妻| 色综合av综合久久| 亚洲情色91| 欧美后入式| 超碰在线人人射| 激情婷婷| 夜夜躁狠狠躁日日躁av| av一区二区三区 中文| 久久综合久色欧美综合狠狠| 亚洲高清无毛一区二区| 校园春色亚洲欧洲| 试看日韩黄片| 一区二区三区四区色图| av激情亚洲五月天| 91精品人妻一区二区三区蜜桃臀| 欧美91变态| 啪啪一区| 青草精品视频-日本久久久久网站| 91精品黄在线观看| 色臀av| 成人电影一区| 日韩射精| 日日天天久久啊啊aaa| 激情另类激情| 久久九色| 很很操在线| 91精品人妻一区二区三区蜜桃臀| 中文字幕视频在线观看| 激情开心五月天| 天天综合网在线91| 日韩二级| 国产日韩区| 国产精品久久久九九九| 中文字幕 国产 精品| 啊啊啊啊免费视频| 久久婷婷国产一区二区色| 精品综合久久久久久五月天| 日本新免费二区三区| 丁香六月东京热| 精品人妻15区| 宅男91视频在线播放| 欧美特大AA级黄片| 人乳av| 99热这里都是精品| 午夜.DJ高清在线观看免费7 | 国产精品久久99日日| 超碰天天操| 日本岛国黄色网址| 天天干天天舔| 久久婷婷苹果| 九九九九九九九九九五码| 美国一区二区免费视频| 在线综合网| ai欧美亚洲小说| 六十路日本| 香港澳门日本三级网站| 欧美丝袜激情| 亚洲色欲天天人妻无码系列专区| 亚洲区小说| 久久久久9久久久久| 亚洲天堂中文字| 91制服丝袜| 99国产在线绯色一区| 十八禁成人网站在线观看| 91高潮| 精品久久久不卡一区二区| 久色网| 最新av网站在线观看| 国产精品夜夜夜| 久久內射| 人人操人人大香蕉| 丁香五六月啪啪| 色欧美在线| 亚洲性感丝袜诱惑在线观看| 99re95| 国模一区二区三区| 凹凸视频特色日本特黄| 青椒国产97在线熟女| 97 色综合| 骚货 中文字幕 av| 欧美乱妇狂野欧美在线视频| av在线浏览| 大香蕉九九| 免费簧片在线观看| 91午夜无码| 中文乱码字字幕在线第5页| 抽插亚洲无码| AV中文字幕三四五| 青青操日韩| 日本黄页视频在线观看| 亚洲不卡av在线| 伊人91| 天天插天天操| 啪啪资源网| 久久av一级av少妇av高潮| 人人操人人摸avav| 操日韩第| 岛国片在线播放| 亚洲资源吧| 超碰一区二区| 人妻少妇无码| 久久久极品| 亚洲天堂少妇| 久久女人| 久久精品超碰| 91亚洲人| 欧美巨大性舒爽顶到了| 国产又猛又粗又爽又黄| 天天色天天干天天射| 国产家庭乱伦性爱视频| 男女猛烈无遮掩视频免费软件| 极品销魂美女一区二区| 欧美se综合| 欧洲综合色| 中文 人妻 制服| 蜜臀久久99精品久久久久久-DVD原版全| 天天爱天天操| 色哟哟综合| 东北丰满熟女国产一区 | 品亲网欧美品亲网| 亚洲男人天堂2| 999色欧美中文字幕| 欧美瑟综合| 后入式免费视频| 国产 日韩 欧美一区| 精品日韩人妻精品一二三区| 不卡一区二区日本视频| 九九色影院| 国产女上位好爽在线| 9热9热综合网| 黄久在线| 高清无码人妻久久久一区二区三区aⅴ| 欧美96精品在线| 午夜福利国产欧美日韩夜夜| 日本3级一区二区免费| 久久99综合| 九九热免费国产视频婷婷伊人五月| 第二页中文字幕| 99精品人人爽| 97天堂| 麻豆人妻精品一区二区| 亚洲综合性感在线| 亚洲91大片| 国产精品一区二区三区免费视频| 国产精品无码成人精品| 超碰人人超在线观看| 9l视频自拍9l九色成人| 久久一本大香蕉| 男人天堂新| 久操com| www五月| 欧美日韩国产电影| 天天综合-91入口| 亚洲 日韩 丝袜 熟女 变态| 久久日韩毛| 日韩亚洲97| nuu12国产麻豆精品| 人妻三级在线中文字幕| 综合欧美日本三级| 日影院久久婷婷夜夜网| www国产无码| 操比国产| 精品久久一区二区三区四区五区| 精品一区二区久久| www.91理论| 欧美激情亚洲色图| 97在线观| 国产成人午夜视频网址| 后入内射蜜桃臀| 亚洲黄色电影| 亚洲色图亚洲无码强奸乱伦| 中文字幕一品色图| 成人乱码一区二区三少妇| 亚洲A色| 亚洲色图图片| 嗯嗯嗯好爽| 夜夜嗨一区| 99精品视频在线观看免费| 中文字幕91综合| 色淫网站优优视频| 五月丁香综合啪啪| 色网在线| 国产69精品久久久久99尤物| 久久人爽| 操逼操网| 亚洲精品黑丝| 亚洲女毛多水多21P| 超碰1997| 丰满人妻一区二区三区大胸懂色| 大屁股国产在线视频| 熟妇的味道HD中文字幕| 天堂精品小草| 精品无码久久久久久久久果冻糖心| 激情五月综合| 欧美美女视频| 啊啊啊用力在线观看| 国产精品国产精品国产| 青苹果影院男人的天堂| 超碰精品国产无码| 中 文字幕一区二区三四 五 区日 日 骚 | 青青草精玖玖69精品| 超碰碰97资源站| 婷婷久草一区二区三区| 91精品老女人| 欧美日韩淫加| 99国产精品视频尤物| 97伪v| 国产亚州精品美女久久久免费| 东京热熟女亚洲视频网站| 日韩性爱1级片视频| 2017大香蕉国产精品久久| 精品九九国产无码| 婷婷五月天色网| 99自拍视频在线| 97精品久久| 色婷婷综合久久中文字幕雪峰 | 中文字幕在在线观看网站| 国产综合久久久麻桃个| 密臀在线免费观看| 在线观看免费视频国产| 超碰97人人乐| 中美日韩毛片| 人人摸.人人色| 91九九九小逼| 综合色图区| 97超碰人人操人人操| 欧美情色贴图| 亚洲激情综合| 亚洲视频精选| 国产精品久久久久久久久久久久久久久久 | 伊人少妇久久久| 欧美色图天堂在线| 国产成人一级av88| 日韩猛交| 国产人妻精品一区二区三区秋霞 | 熟妇人妻一区二区三在线| 欧美黄色片AAAAA| 一区二区三区国产在线播放 | 国产JDAV无码视频在线观看| 热久久无毒不卡| 欧美熟爽综合| 国产无码一二三区| 色综合V| 久久久久久十| 成人精品视频| 精品一区二区三区最新| 怡红院一区二区熟女人妻| 思思久热在线精品66| 女上位精品在线| 激情五月丁香五月| 无遮挡男女激烈动态图| 91美女精品| 大屁股国产在线视频| 无码人妻一区二区一牛影视| 凸凹视频在线观看| 天天日天天搞天天干| 欧美高清色| 天天操熟妇| 1000午夜黄色| 欧美一二在线| 清纯唯美激情四射| 国产第25页在线观看| J?P?NESEHD熟女熟妇伦| 日韩熟女精一区二区三区不卡| 搡老女人老91妇女熟女| 大香蕉 222| 性爱综合网| 国产人妖视频一区在线观看| 国产91精品在线免费| 欧美综合第一页| 91最新综合| 99少妇精品视频| 六月丁香久久| 色综合色色| 精品-91人妻子系列| 亚洲制服aⅴ中文字幕| 东京热一区二区中文字幕| 偷拍盗拍亚洲色图图片| 91热热色| 人人妻人人澡人人爽人人精品浪潮| 亚洲男人天堂手机版| 丝袜视频网国产90| 91精品国产91久久久久久久久久久久| 天天综合站| 久久久96精品| 激情在线青青操| 欧美九九九| 国产日韩中文字幕欧美| 91亚.色| av橘色网站| 亚州色图片在线色| 蜜桃丰满熟妇av无码区不卡| 男女性扦B| 精品二区三四区五电影 | 日韩午夜国产| 精品久久久中文字幕不| 女同在线视频一区| 嗯啊不要啊啊在线观看视频| 欧美一区二区传媒| 亚洲天堂日本| 欧美图片色五月天| 九九九色| 操逼片中文| 99在线观看| 91久久久久久久久久久| 极品后入免费视频| 精品国产乱码久久久久久久久久毛片| 超碰美国| 中文字幕一区二区三区高清| 欧美视频在线视频免费va| 亚洲成人av色网| 97视频620| 欧美综合亚洲| 国内毛片欧美香蕉精品| 成人八戒网站| 色av中文字| 男人把坤坤插入女人的下体| 日日骚网站| 国产精品嫩草影院午夜两性| 国产综合操逼高清| 91亚洲青青草原精品1区| 91国产美女丝袜足交精品视频| 日韩精品9999| 日本欧美不卡| 欧美天天干| 骚逼高潮久久精品| 国产一区二区三区,在线观看观看 五月开心久久AV官网 | 超碰97精品| 欧美日韩国产高清在线一二三区| 97久久精品亚洲| 欧美亚州色的图| 久久精品国产亚洲AV先锋| 婷婷av在线中文字幕| 色欧美天天| 久九9精品| 亚洲**2021在线观看| 久久99亚洲精品久久99果| 97se综合网| 综合久久2017| 亚洲精品乱码久久久久久蜜桃麻豆| 啪啪视频mP4| 久久亚洲日韩熟女精品| 大黄片做爱的大的| 中国黑人三级片网站上区| 91综合网在线| 激情五月婷婷| 久久噜噜噜精品国产亚洲综合| 久久久日本电影| 亚洲av影院在线观看| 国产大片精久久久久久| 午夜在线播放| 综合一区中亚洲国产成人综合精品 | 97频视在线| 亚洲无码国产探花在线观看| 欧美毛片在线网| 我爱操| 囯产精品久久久久久久久久梁医生 | 天天插夜夜操| 粉嫩AV一区夜夜嗨| 18禁无码永久免费无限制| 老色69| 欧美综合第一页| 亚洲成人免费中文字幕| 狠狠亚洲| 最新三级网址| 妇女视频网站| 欧 美 自 拍 偷 拍| 国语人妻精彩刺激| 亚洲毛片基地专区| 九九热精品免费视频| 啊啊啊爽爽| 一区二区三区精品黑丝白丝酒店对鸡| 超碰诱惑| 99色视频| 好属操| 亚洲人精| 99婷婷一区二区| 亚洲AV乱码专区国产噜噜亚洲| 国产无吗在线播放| 久久一二三四五六七八九区区| 亚洲欧洲自拍图片专区满春格| 少妇人妻无码| 欧美日本中字另类在线| 亚洲偷91色| 亚洲av无码成人精品国产| 国语精品av| 色婷婷九月天天综合| 男人的天堂在线| 国产精品爽爽v| 加勒比av网| 一区二区三区在线资源| 91视频综合网| 国产五码丝袜屁眼| 探花一区在线| 97精品一区二区三区免费| 爱爱动态120秒| 欧美性爱精品七区| 夜夜 中文视频rt| 人人透人人操| 日本熟女不卡视频| 免费av在线播放二区| 啊啊啊啊啊啊啊好爽不要| 國產尤物AV尤物在線觀看| 国产乱码久久久久久| 九月丁香婷婷| 一个色导综合| 欧美色道啊| 欧美九九爱| 国产熟女免费观看久久| 97欧美色| 蜜臀亚洲中文| 人人摸人人摸人人干| 亚洲少妇视频| 91久久国产综合久久| 熟女人妻精品一区二区视频| 日本一二三高清| 免费看A片毛毛片在线播| 九九热国产| 91AV天堂| 中文字幕在线24| 青娱乐欧美激情一区二区 | 国产成人亚洲精品无码最新在线| 男人的天堂久久狠| 97香焦色区| 国产伦精品一区二区三区在线观 | 国产伊人自拍| 在线无码操| 亚洲图片91| 伊人伊人LD| 超碰 97国产熟女| 亚洲日韩成人性爱视频| 影音先锋每日最新资源在线观看| 日韩性色| 美女丝袜激情小说| 麻豆影音天美视频| 国产欧美第五页| 久久嫩草国产成人一区| 日韩有码中文字幕女同性恋| 日韩精品电影| 中文字幕版| 爽爽淫人网| 99热只有这里有精品| 黄视频免费| 成人a级高清视频在线观看| 国产成人五月天丁香花| 狠狠操狠狠燥| 小骚逼被操的爽不爽| 91无人区卡一卡二卡三乱码入口最新版:能让用户有更多选择的选择-经典说说-爱 | 国产亚卅97| 天天综合站| 亚洲自拍欧美色综合| 久久久久国产亚洲一区欧美色图日韩 | 久久一区二区三区入口| 国产人妖视频一区在线观看| 视频国产欧美在线播放| 91黑人狂躁丰满熟妇| 精品欧美日韩在线观看| 精品久久青青草| 婷婷色综合| 操操啪| 一级免费啪啪片| 国产强奸乱伦xd| 性爱视频啪啪啪啪| 女欧美一区二三区| 国产精品白丝在线播放| 欧美黄色手机在线观看| 欧美色交| 一本大道青青| 性欧美999| 大香蕉视频啪啪啪啪| 一级AAA片一区二区三区| 中出欧美| 97天堂| 在线播放成人高清免费视频 | 色婷婷激一区二区三区| 日本色色的视频| 精品一区二区人妖| 日本 欧美 国产一区| 亚洲AV成人无码久久精品播放| 乱伦av.com| 国产精品熟女乱伦| 色爱综合网| 白丝1区2区3区| 91原创在线观看| 97色97好| 国偷自 一区二区| 亚洲影院小综合| 日韩精品9区| 97精品视频在线| 国产又大又粗又长视频| 欧美激情 亚洲色图| 丰满人妻一区二区三区| 中国AV美女| 欧美日韩在线国产在线| 亚洲偷拍自拍在线视频| 伊人久久青青草| 午夜福利在线视频1000| 欧洲亚洲人人爽爽视频| 99色热| 好色综合| 美中日韩无码| 天美av在线观看| 久久久99999久网站| 天天爱综合网| 久久久久久久久999| 亚洲密乳AV| 中文字幕 国产 精品| www四虎| 欧美亚洲一区二区久久久婷精品大包诱| 亚洲Av噜噜一区二区三区妖精| 997色在线| 亚洲欧美综合| 国产91精品福利在线| 99热这里只有精品9| 亚州综合电影| 超碰精品97| 欧美自拍偷拍综合图片| 丰满人妻无码一区二区三区| 九九热免费视频| 欧美 日韩 另类 亚洲| 96精品久久久| 91精品久久久| 91粉芽高清在线一区二区| 黄色不卡视频| 精品传媒在线一区| 天天躁日日躁xxxxx| 成年女人18级毛片毛片免费观看| 亚州中文字幕超碰97| 国产剧情在线| 3p国产欧美99热| 日韩ab网| 国产日韩手机视频在线| 东京热男人的天堂网| 亚洲AV人人澡人人爱| 日韩无码视频黄色| 婷婷九月色| 91AV天美在线视频| 18禁在线视频| 亚洲91少妇| 欧亚三区动漫| 91精品丝袜在线观看| 狠狠亚洲| 欧美区亚洲区偷拍区| 五月丁香色色网| 无码九九| 亚洲黄色网址视频| www.高清无码诱惑一区.com | 亚洲av热热色| 蜜臀久久99精品久久久久久婷婷| 在线日韩精品一区二区三区| 国产小u女在线观看| 精品二999| 亚洲?V无码专区在线电影| 天堂av2019| 尤物av网站免费在线播放| 桃色五月天| 超碰在线91| 久操热| 99re视频在线播放青草| 九色婷婷| 新怡红院| 婷婷五月天网| 秋霞福利网| 激情无码日韩| 欧美中字不卡| 日本高清_区二区三区| 91丝袜在线视频| 一区二区三区探花在线观看| 青青草乱入乱欲视频在线观看| 亚洲无码太久| 亚洲熟妇丝袜在线观看| 国产精品内射婷婷一级二| 午夜福利久久久噜久噜久久综合| 亚洲欧美色图| 爱欲AV| 国产高清在线观看欧美| 亚洲天堂久久| 亚洲精品 大香蕉| 91超碰在线| 夜夜爽33333| 国产强奸AV在线| 日韩激情视频| 一区操逼日比视频| 色999人与兽| 色综合久久av| 蜜桃臀久久| 久热这里| 国产精品ⅴ无码大片在线看.| 亚洲色图 图片| · —级AA伦aa坐爱午夜极速ⅴA一区天天噪天天噪天天噪 | 欧美 日韩 婷婷 五月| 18禁看网站一区| 91色综合激情| 午夜偷拍久久熟女| 亚洲色图欧美色18直播在线| 91在线美女| 日韩精品碰碰| 老熟女综合网| 亚洲成人一二三区| 狠狠色噜噜狠狠狠狠狠色综合久久 | 日日骚一区二区三区| 性爱动态120秒| 日本1区2区不卡视频| AV色五月| 亚洲不卡不卡中文字幕不卡| 手机在线中文字幕国产| 久久亚洲av成人无码国产| 一区二区影视| 大肥女高潮bbwbbwhd视频| 日本顶级天天操狠狠操夜夜操中文字幕| 97视频免费在线| 蜜臀少妇一区二区| 97人人夜夜精品视频| 色噜噜人妻av中文字幕| 抽插爽| 91chinese在线| 亚洲密乳AV| 97超色| 亚洲AO在线| 熟女视频久久| 亚洲啪AⅤ永久无码| 亚州性色| 欧美激情久久久久| 炮色五月| 顶级丝袜熟女一区二区三区| 欧美一区二区三熟女剧情| 91日韩在线| 日韩激情啪啪啪| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | AA特级绝黄| 国产女大学生AV| 久草综合网| 嗯,啊。舔我逼| 9久久9综合| 成年人一级黄色毛片大全在线观看| 天天色欧美| 五月天AV资源| 久久超碰98| 91久久久久久| 人人摸.人人色| 亚洲、日韩、综合、另类| 天堂种子在线www网资源| 日小BB小视频| 26uuu最新| 中文 人妻 制服| 好湿好紧视频| 1区2区3区中文字幕日韩| 国产欧美伊人| 日韩性爱小视频在线观看| 成人小说视频在线精品欧美| 熟妇综合一区二区三区| 亚洲视频精选| 国产午夜精品一区二区三区牛牛| 欧美一品道| 亚洲激情片| 欲女人妻性色av| 白丝在线一区| 亚洲性猛| 亚洲成人在线资源| 人妻丝袜肏逼| 日本最新1区2区3区| 97超碰中文| 久久久久国产| 久久精品99久久久久久| www.久久最新地址| 国产亚洲美日韩Aⅴ中文字幕无码成人| 国产AAAAAABBBBB| 秋霞一级鲁丝片A片| 免费黄色片。| 97啪啪| 91av一区二区在线观看| 亚洲欧美综合区自拍另类| 手机在线播放国产福利| 人妻中文字幕日韩电影| 日本污ww视频网站| 一本一道人妻久久一区二区三区 | a级成人毛片免费视频高清| 三及片网站| 97伊人超碰| 色图四区| 一级黄色性爱裸体视频| 国产中文字幕在线点播| 日日操丁香五月天| 欧美视频边做饭边橾| 午夜福利无毒不卡| 99热97| 蜜桃久久一区二区三区| 黄片免费视频2019| 综合色99| 五月久久HDAV| 欧美成人一级麻豆| 久久激情视频| 久久久人妻| 18禁无码永久免费无限制| 岛国色情视频在线观看| 色色色色网站| 77777亚洲蜜臀精品久久综合蜜臀| 亚洲 图片 欧美 色图| 伊人精品国产| 啊啊啊啊好爽好舒服一区二区易域| 九九碰九九爱97超碰| 日韩中文字幕人妻视频| 五月天精品| 2000亚洲男人天堂| 超碰碰97资源站| 东北女人性交| 亚洲国产av中文字幕久久| 人人干人人搞人人摸| 精品一区二区三区蜜桃臀赵总| 国内操逼视频二区| 不卡视频一区蜜桃视频| 乱伦熟女专区| 久久女婷| 色大师网站www永久网站视频| 久久久久久久久久久久黄色| 国产精品伦理| 亚洲精品乱码线路中文字幕| 亚洲精品视频在线| 使劲用力艹少妇视频一区二区| 黄色成年| 蜜桃久久久久久久| 精品人妻一区二区蜜桃视频 | 精品少妇999| 先锋色眉乱伦资源| 日韩欧美麻豆大片| 啊啊啊啊好大好硬啊啊啊啊啊| 在线洲亚线| 亚洲国产ⅴ高清在线观看| 999在线电影香蕉| 亚洲亚洲亚洲天堂天堂 | 啪啪AV导航| 刺激性视频黄页| 国产精品一区在线播放| 亚洲乱色熟女一区| 伊人天堂在线| 亚州熟妇精品| 亚洲精品性爱片| 99国产精品人妻人伦| 新精精品久久精品| 亚洲av国产av综合av卡| 69精品在线| 黄色十八禁| 高清无码在线播放网站| 亚洲日韩av一区二区三区百合| 精品视频一二三中文| 免费A V在线| 人妻丝袜肏逼| 国产大学生口爆吞精合集| 91在线色| 欧美日韩资源| 五月丁香六月婷| 亚洲丝袜二区在线| 亚洲天堂人妻熟妇视频| 91日产欧美| 狠狠操狠狠爱| 国产一区二区精品久久久不卡蜜臀| 国产精品一级特黄aaa大片在线观看| 日本淫穴在线| 7777奇米影视久久| 国产女同性恋视频| 日韩在线地址一| 蜜桃中文字日产乱幕4区| 国产日本顶级一区二区三区| 国内毛片无码一级毛片| 77国产精品| www.yeyecao| 玖玖资源中文字幕制服丝袜| 欧美一区二区三区四区综合| 人妻在线臀日韩| 久久AV无码AV| 91 在线亚洲| 97色欧洲| 色五月婷婷麻豆在| 香蕉国产精品麻豆亚洲欧美日韩| 少妇六月天| 亚洲一区日韩精品| 色综和网| 熟女这里只有精品6| 日本韩国一本产品小视频日本韩国一本产品久久久产品小视频日本韩国一本产品久 | 91精品少妇搡搡搡| 入口操逼网站| 人妻熟女一区二区三区视频| 色玖玖| 欧美 亚洲 在线| 九九热精品在线| 久久久精品中文字幕爱豆| 久久亚洲天天做| 加勒比综合| 日韩99神马视频片| 亚洲AV无码翔田千里网站| 久久噜| 人妻AV 中文字幕的| 亚洲欧洲中文日韩女优乱码| 东北女人被操| 欧美午夜视频精品久久| 伊人操| 国产亚洲日本| 无码色| 欧美性爱18观看| 97欧美色资源| 久久99综合| av爱爱爱| 亚洲综合在线91| 欧美在线伊人色| 自拍二页| 97人人操人人摸人人爱| 中文字幕第95页| 日韩亚洲中文字幕在线| 9精品久久久久| 五月丁香激情综合网| 色综合91好| 青青草色插素人| 97色婷| 久久中文字幕一区不卡| 久久后入制服| 五月天伊人| 五月婷婷激情综合| 欧洲亚洲少妇| 自拍丝袜美腿人妻| 五月婷婷丁香中文字幕| 色区97| 色欲色香天天天综合网www-亚洲综合国| a片在线播放| 久久精品国产97欧美精品亚洲 | 国产suv精品一区二区四区999| 一区二区三区四区免费视频| 天天噜| 蜜区区视频79| 玖玖人人爱| wwwcaobibi| 亚洲激情综合另类男同| 久久大香蕉97| 欧美性色综合网| 亚洲五月丁香花狠狠干一区二区三区 | 婷婷精品久久av影视| 97玖玖超碰| 国产激情在线观看| 午夜视频好爽啊| 韩国一级做a久久久久| 久久超碰天天| 吉田爱美AV在线| julia高潮后不停追击中出| 日本欧美中文字幕| 亚州黄站| 欧美色图私拍91| 91网站18在线观看| 九九热免费视频| 色综合久| 男女性感激情网站| 男人午夜天堂| 大香蕉伊人75| 校园春色 亚洲| 久久精品无码熟妇一区二区三区视频导航 | 欧美啪啪天堂| 国产又黄又粗的视频| 精品久久久久综合无码| 日韩国产十八禁| 吉川爱美98堂在线| 国产天天骚| 一本正道久久熟女| 水野优香在线观看| 91九色网| 久9热| 久久99久久99精品免视看婷婷| 欧美日韩国产电影| 日韩人成网站在线播放| 亚洲国产一级黄色视频| 天天射夜夜操|