日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

嵌入式數(shù)據(jù)搬運(yùn)選型:DMA、NEON與CPU拷貝底層邏輯與實(shí)戰(zhàn)

嵌入式數(shù)據(jù)搬運(yùn)選型:DMA、NEON與CPU拷貝底層邏輯與實(shí)戰(zhàn) 寫這份分享時(shí)我剛在板子上調(diào)完一版 DMA 環(huán)形緩沖區(qū)順手把總線上的數(shù)據(jù)搬運(yùn)負(fù)載從 CPU 手里徹底剝了下來。說實(shí)話在嵌入式或者驅(qū)動(dòng)開發(fā)里“拷貝數(shù)據(jù)”這件事看起來基礎(chǔ)但對性能的影響往往是一票否決級的。你到底是該無腦 memcpy還是上 DMA或者干脆用 NEON 向量指令暴力搬運(yùn)我見過太多人在這個(gè)問題上憑感覺選結(jié)果要么 CPU 占用率被打滿要么數(shù)據(jù)一致性踩坑。所以今天這篇就專門來盤一盤 DMA、NEON、CPU 這三種拷貝方式的底層邏輯、適用場景和實(shí)戰(zhàn)選型思路。這篇文章適合正在做驅(qū)動(dòng)開發(fā)、嵌入式音視頻處理、網(wǎng)絡(luò)收發(fā)邏輯優(yōu)化以及任何被“數(shù)據(jù)搬運(yùn)太慢”困擾的朋友。1. 三種拷貝方式底層到底在干什么選型之前先把三者的本質(zhì)差異搞清楚。很多人以為 DMA 是“更快的拷貝”NEON 是“更快的拷貝”CPU 普通拷貝是“更慢的拷貝”這個(gè)認(rèn)知大方向沒錯(cuò)但底層機(jī)制完全不同直接決定了它們在不同場景下的表現(xiàn)。1.1 CPU 普通拷貝的本質(zhì)CPU 拷貝最常見的就是 memcpy本質(zhì)上就是讓處理器內(nèi)核直接參與數(shù)據(jù)搬運(yùn)。具體流程是CPU 從源地址加載數(shù)據(jù)到寄存器再從寄存器寫回目標(biāo)地址。這個(gè)過程完全由 CPU 的流水線驅(qū)動(dòng)走的也是 CPU 的 Load/Store 單元。這里有個(gè)關(guān)鍵點(diǎn)容易被忽略CPU 拷貝的速度受限于主頻、內(nèi)存帶寬和緩存命中率。如果數(shù)據(jù)在 Cache 里熱著memcpy 可以非??烊绻麛?shù)據(jù)在 DDR 里冷著CPU 就得一路等內(nèi)存總線這時(shí)性能會(huì)嚴(yán)重下滑。而且CPU 在搬運(yùn)過程中沒法干別的活執(zhí)行流水線被占住這就是“阻塞”的本質(zhì)。還有一個(gè)不太好察覺的細(xì)節(jié)現(xiàn)代 CPU 的 memcpy 實(shí)際上會(huì)利用 SIMD 指令集。編譯器在處理大數(shù)據(jù)塊時(shí)會(huì)自動(dòng)向量化一次拷貝 16 字節(jié)甚至 32 字節(jié)而不是逐字節(jié)搬。所以單純從“指令效率”來看CPU 的 memcpy 已經(jīng)做了不少優(yōu)化。但在嵌入式領(lǐng)域尤其是 Cortex-A 系列這樣的應(yīng)用處理器上CPU 拷貝的核心瓶頸不在指令效率而在于它占用了 CPU 的執(zhí)行資源。你在 memcpy 大數(shù)據(jù)塊的時(shí)候中斷響應(yīng)延遲會(huì)明顯變差實(shí)時(shí)性受影響。1.2 NEON 拷貝的本質(zhì)差異NEON 是 ARM 平臺的 SIMD 指令集它的思路和 CPU 普通拷貝有很大區(qū)別它的定位是“用更寬的寄存器、并行處理更多數(shù)據(jù)”本質(zhì)上還是 CPU 在搬但它用的是 NEON 單元而非普通 Load/Store 單元。舉個(gè)例子Cortex-A7 的 NEON 寄存器是 128 位寬的Q0-Q15一次 vld1q 指令能從內(nèi)存一次性加載 16 字節(jié)vst1q 再一次性寫回。這比普通寄存器 32 位寬一次 4 字節(jié)要高效得多。NEON 拷貝的典型寫法是循環(huán)展開 預(yù)取把內(nèi)存訪問延遲壓到最低。NEON 在拷貝上的優(yōu)勢有兩個(gè)維度一是數(shù)據(jù)并行度二是 cache 友好性。你可以用 pld 指令把下一塊數(shù)據(jù)提前預(yù)取到 cache配合 vld1q/vst1q 流水線批量搬運(yùn)實(shí)測在大部分 ARM 平臺上NEON 拷貝帶寬是普通 memcpy 的 1.5 到 2 倍。但注意NEON 的優(yōu)勢僅限于“數(shù)據(jù)在內(nèi)存和寄存器之間搬運(yùn)”這個(gè)場景它并沒有繞開 CPU 核心所以它依然會(huì)占 CPU 資源。另一個(gè)值得提的點(diǎn)是 NEON 對數(shù)據(jù)對齊的要求。vld1q/vst1q 要求 16 字節(jié)對齊時(shí)效率最高未對齊時(shí)雖然也能工作但會(huì)觸發(fā)額外的內(nèi)存訪問。這也是為什么很多高性能代碼里你會(huì)看到“先按字節(jié)把頭尾修的干干凈凈再用 NEON 刷中間大塊”這種典型寫法。后面講實(shí)操時(shí)我會(huì)給出具體的對齊處理思路。1.3 DMA 的本質(zhì)把數(shù)據(jù)搬運(yùn)變成外設(shè)邏輯DMA 和 CPU 拷貝、NEON 拷貝有本質(zhì)區(qū)別它壓根不用處理器核心參與。它的全稱是 Direct Memory Access直接內(nèi)存訪問通過一個(gè)獨(dú)立的總線控制器在源地址和目標(biāo)地址之間傳輸數(shù)據(jù)傳輸完成后通過中斷或事件通知 CPU。整個(gè)過程中CPU 只需要做兩件事啟動(dòng)時(shí)配置好 DMA 的描述符包括源地址、目標(biāo)地址、傳輸長度、突發(fā)大小傳輸完成時(shí)處理中斷。中間的大塊時(shí)間CPU 完全解放出來。這就是 DMA 最大的價(jià)值。但要注意DMA 的出現(xiàn)不是為了“更快”。它的性能并不一定高于 NEON 或 CPU 拷貝尤其是對于小數(shù)據(jù)塊DMA 的配置開銷可能比本身傳輸時(shí)間還長。DMA 的優(yōu)勢是“不占用 CPU”而不是“傳輸速度快”。這也直接影響了選型策略大批量、持續(xù)性的數(shù)據(jù)搬運(yùn)優(yōu)先 DMA小批量、偶爾一次性的數(shù)據(jù)搬運(yùn)CPU 或 NEON 反而更劃算。2. 不同場景下怎么選這才是真正的核心問題理論上理解了三種方式后選型邏輯才真正落地。我的實(shí)際經(jīng)驗(yàn)是選型不只看數(shù)據(jù)量還得看處理頻率、數(shù)據(jù)特點(diǎn)、實(shí)時(shí)性要求甚至看你手里的硬件平臺支持什么特性。這里我把實(shí)戰(zhàn)中最常遇到的場景逐一拆開講。2.1 大數(shù)據(jù)塊搬運(yùn)優(yōu)選 DMA但要處理對齊和描述符先說最經(jīng)典的大批量場景從網(wǎng)卡 NIC 收包到內(nèi)存緩沖區(qū)從 ADC 采集 FIFO 搬到內(nèi)存或者從攝像頭傳感器把一幀 YUV 數(shù)據(jù)搬到內(nèi)存。這類數(shù)據(jù)傳輸?shù)奶攸c(diǎn)是單次數(shù)據(jù)量大可能是幾 KB 甚至幾 MB而且通常是周期性發(fā)生的。在這個(gè)場景下DMA 是絕對的主力。原因也很直白用 CPU 或 NEON 搬一個(gè)大塊的同時(shí)整個(gè) CPU 都沉浸在搬運(yùn)中而 DMA 可以把 CPU 釋放出來去做更緊急的事比如協(xié)議解析、狀態(tài)機(jī)處理、用戶態(tài)調(diào)度。你說 NEON 更快確實(shí)更快但在驅(qū)動(dòng)層跑 NEON 拷貝很容易導(dǎo)致中斷處理時(shí)間過長觸發(fā)高層 watchdog。不過用 DMA 也有幾個(gè)細(xì)節(jié)要注意。首先是內(nèi)存類型。DMA 使用的緩沖區(qū)必須是 cache 一致性的或者你要手動(dòng)做 cache 無效化/clean 操作。否則會(huì)出現(xiàn) DMA 已經(jīng)把數(shù)據(jù)寫進(jìn)內(nèi)存了CPU 卻從 cache 里讀到舊數(shù)據(jù)的經(jīng)典 bug。在多核 CPU 上這個(gè)問題更容易踩雷因?yàn)槟闵踔翢o法預(yù)判 cache line 被哪個(gè)核加載。其次是 DMA 描述符的管理。有些平臺的 DMA 驅(qū)動(dòng)是簡單的寄存器模式一次配置一個(gè)塊傳輸有些則支持描述符鏈表比如 Zynq 的 SG-DMA可以把多個(gè)不連續(xù)的內(nèi)存塊串成一個(gè)鏈表逐個(gè)搬運(yùn)。后者在處理網(wǎng)絡(luò)報(bào)文分片時(shí)特別好用。但帶來的復(fù)雜度也直線上升你要小心描述符的回寫狀態(tài)、半傳輸中斷、傳輸完成中斷的時(shí)序。2.2 小批量高頻拷貝NEON 是甜點(diǎn)區(qū)DMA 反而累贅很多人上來就想用 DMA 優(yōu)化一切但小數(shù)據(jù)量場景下 DMA 的成本是完全不劃算的。舉個(gè)例子一個(gè) 64 字節(jié)的控制結(jié)構(gòu)體從內(nèi)核態(tài)拷貝到用戶態(tài)DMA 做什么你要分配 DMA buffer、配置描述符、開啟通道、等待中斷——這一套動(dòng)作的延遲可能就得幾微秒而 64 字節(jié)用 NEON 四個(gè) vld1q four vst1q 指令納秒級完成。這種情況下 DMA 就是殺雞用牛刀而且刀還沒磨好。我建議的分界線大致是 256 字節(jié)以下走 NEON 或普通 CPU 拷貝256 到 1KB 之間看場景靈活切換1KB 以上才認(rèn)真考慮 DMA。這個(gè)閾值不是嚴(yán)格的黃金比例但它是基于“DMA 固定開銷 中斷延遲”和“CPU 逐字節(jié)搬運(yùn)成本”交叉計(jì)算出來的經(jīng)驗(yàn)值。NEON 在做小批量拷貝時(shí)還有個(gè)底層優(yōu)勢它的預(yù)取指令可以讓“下一個(gè)塊”的數(shù)據(jù)提前進(jìn)入 cache。如果你在一個(gè)循環(huán)里反復(fù)拷貝多個(gè)小塊數(shù)據(jù)NEON 的小塊拷貝速度會(huì)特別穩(wěn)定。但要注意NEON 拷貝雖然不調(diào)操作系統(tǒng) API但你得自己保證內(nèi)存對齊。我的做法是在每個(gè)拷貝入口做一個(gè)指針對齊檢查未對齊的先用普通拷貝把首部修正再把中間的大塊交給 NEON。2.3 緩存一致性問題DMA 和 Cache 的愛恨糾葛這一節(jié)必須單獨(dú)拿出來講因?yàn)檫@是區(qū)分“能跑”和“能穩(wěn)定上線”的關(guān)鍵。簡單解釋一下什么叫 cache 一致性問題。假設(shè)你有一個(gè) DMA 緩沖區(qū)它是一塊普通的內(nèi)存CPU 和 DMA 控制器都可以訪問它。CPU 讀數(shù)據(jù)時(shí)優(yōu)先查 cache如果數(shù)據(jù)在 cache 里命中就直接用 cache 里的副本不會(huì)去訪問內(nèi)存?,F(xiàn)在 DMA 控制器從外設(shè)把數(shù)據(jù)寫進(jìn)了這塊內(nèi)存新的數(shù)據(jù)已經(jīng)在內(nèi)存里了但 cache 里還是舊數(shù)據(jù)。CPU 再讀的時(shí)候命中 cache讀到的是舊數(shù)據(jù)——bug 出現(xiàn)了。解決這個(gè)問題的思路有三個(gè)其一將 DMA 緩沖區(qū)配置為 non-cacheable也就是不走 cache每次 CPU 訪問都直接打到內(nèi)存。這種方法最簡單但性能會(huì)下降CPU 在上面頻繁讀寫的開銷翻倍。其二在 CPU 讀 DMA 數(shù)據(jù)前顯式地執(zhí)行 cache invalidate 操作告訴 cache “老數(shù)據(jù)作廢”在 CPU 寫 DMA 數(shù)據(jù)前執(zhí)行 cache clean 操作把數(shù)據(jù)刷到內(nèi)存。這種方法是性能與正確性的平衡點(diǎn)也是驅(qū)動(dòng)開發(fā)中最常見的做法。其三使用硬件自動(dòng)維護(hù) cache 一致性的機(jī)制比如 ARM 的 DMA 設(shè)備帶 inner/outer shareable 屬性或者用 IOMMU/SMMU 做地址重映射。這類方案在復(fù)雜 SoC 上越來越普及但在很多嵌入式平臺上并沒有完整實(shí)現(xiàn)所以不能拍腦袋依賴它。我在一輪實(shí)際調(diào)試中的體會(huì)是cache 問題在單核簡單 DMA 場景下還比較可控真正常常翻車的是多核 CPU 上的 DMA 緩沖。因?yàn)槲覜]辦法預(yù)判某個(gè) cache line 是哪個(gè)核加載的只有嚴(yán)格按“DMA 寫 → invalidate → CPU 讀”、“CPU 寫 → clean → DMA 讀”的規(guī)范來才能真正避免那種“偶發(fā)性數(shù)據(jù)錯(cuò)誤”——這種 bug 是最難查的因?yàn)樗皇潜噩F(xiàn)而是偶爾出現(xiàn)一次復(fù)現(xiàn)周期可能是一小時(shí)甚至一天。3. 實(shí)操串口 DMA 接收不定長數(shù)據(jù)的完整實(shí)現(xiàn)這一節(jié)我挑一個(gè)大家都熟悉的場景來完整走一遍串口 DMA 接收不定長數(shù)據(jù)。這可能是 DMA 教程里點(diǎn)擊率最高的一類需求因?yàn)榇谕ㄓ嵲谇度胧介_發(fā)中太常用了而 DMA 處理不定長數(shù)據(jù)的核心技巧就是“空閑中斷 DMA 環(huán)形緩沖”。3.1 環(huán)境與基礎(chǔ)原理以 STM32F103 為例或者擴(kuò)大到任何帶 UART DMA 的 MCU。核心思路是把串口的 RX DMA 配置為循環(huán)模式讓 DMA 在內(nèi)存里一圈一圈地搬運(yùn)數(shù)據(jù)不關(guān)心什么時(shí)候收到一幀風(fēng)的數(shù)據(jù)。那怎么判斷一‘幀’數(shù)據(jù)結(jié)束呢就需要用到串口的空閑中斷IDLE當(dāng)總線上沒有新數(shù)據(jù)進(jìn)來時(shí)串口硬件會(huì)觸發(fā)一個(gè)空閑中斷這時(shí)候 CPU 去讀 DMA 當(dāng)前傳輸計(jì)數(shù)就能算出本輪收到了多少字節(jié)。這是串口 DMA 接收不定長數(shù)據(jù)的經(jīng)典套路。它的好處是接收過程全程 DMA 搬運(yùn)CPU 幾乎不參與只有在一幀數(shù)據(jù)接收完成后CPU 才去處理一次。這就把一個(gè)高頻的“每個(gè)字節(jié)中斷一次”變成了“每一幀中斷一次”CPU 負(fù)載大幅下降。3.2 配置步驟和關(guān)鍵代碼以 HAL 庫為例初始化時(shí)開 UART 的 DMA 接收為循環(huán)模式再使能 IDLE 中斷。下面給出一個(gè)典型的初始化片段// 假設(shè) UART_Handle 已經(jīng)初始化好 // 配置 DMA RX 緩沖區(qū)和長度 #define RX_BUF_SIZE 1024 uint8_t rx_buf[RX_BUF_SIZE]; // 開啟 UART DMA 接收循環(huán)模式 HAL_UART_Receive_DMA(huart1, rx_buf, RX_BUF_SIZE); // 使能 UART 的 IDLE 中斷注意要直接操作寄存器 __HAL_UART_ENABLE_IT(huart1, UART_IT_IDLE);然后寫一個(gè)中斷回調(diào)處理函數(shù)這里有個(gè)技巧HAL 庫的 UART 中斷處理函數(shù)會(huì)把 IDLE 中斷吞掉所以你得先調(diào)用它的處理函數(shù)再自己判斷標(biāo)志位void UART_IDLE_Callback(UART_HandleTypeDef *huart) { if (huart huart1) { // 讀取當(dāng)前 DMA 剩余計(jì)數(shù) uint16_t remain __HAL_DMA_GET_COUNTER(hdma_usart1_rx); // 當(dāng)前 DMA 總共要搬 RX_BUF_SIZE 字節(jié)所以已接收長度 uint16_t recv_len RX_BUF_SIZE - remain; // 這里 recv_len 就是本輪接收到的完整數(shù)據(jù)長度 // 接下來就可以把 rx_buf 中的數(shù)據(jù)提交給協(xié)議?;蛱幚砗瘮?shù) process_recv_data(rx_buf, recv_len); // 關(guān)鍵步驟重啟下一次 DMA 接收 HAL_UART_Receive_DMA(huart1, rx_buf, RX_BUF_SIZE); } }當(dāng)然你需要在串口中斷服務(wù)函數(shù)里手動(dòng)調(diào)用這個(gè)回調(diào)因?yàn)?HAL 庫不會(huì)自動(dòng)調(diào)它。具體做法是在UART_IRQHandler里判斷 IDLE 標(biāo)志并清除然后調(diào)用上面的處理函數(shù)。3.3 環(huán)形緩沖區(qū)的進(jìn)階處理上面的例子是最簡單的單緩沖區(qū)版本實(shí)際項(xiàng)目里我更推薦把 RX 緩沖區(qū)做成環(huán)形。也就是說 DMA 始終在一個(gè)固定大小的數(shù)組里循環(huán)搬運(yùn)每次收到一幀數(shù)據(jù)時(shí)幀的起止位置不一定在數(shù)組頭部而是在數(shù)組中間旋轉(zhuǎn)。處理思路是通過 DMA 當(dāng)前計(jì)數(shù)計(jì)算讀寫偏移量然后按“先拷貝尾部再拷貝頭部”的方式把完整幀拼接出來。環(huán)形緩沖區(qū)的核心代碼邏輯大致如下// 環(huán)形緩沖區(qū)讀寫指針 volatile uint16_t rx_head 0; // DMA 當(dāng)前寫入到的位置 uint16_t rx_tail 0; // 應(yīng)用層已經(jīng)讀到的位置 void UART_IDLE_Callback(UART_HandleTypeDef *huart) { uint16_t remain __HAL_DMA_GET_COUNTER(hdma_usart1_rx); uint16_t current_pos RX_BUF_SIZE - remain; if (current_pos rx_tail) { // 數(shù)據(jù)沒有跨越緩沖區(qū)尾部直接分段拷貝 handle_frame(rx_buf[rx_tail], current_pos - rx_tail); } else { // 數(shù)據(jù)跨越緩沖區(qū)尾部需要分兩次拷貝 uint16_t first_part RX_BUF_SIZE - rx_tail; handle_frame(rx_buf[rx_tail], first_part); handle_frame(rx_buf[0], current_pos); } rx_tail current_pos; }這個(gè)環(huán)形方案的優(yōu)點(diǎn)是不用頻繁停止和重啟 DMA數(shù)據(jù)始終在流入丟數(shù)據(jù)的概率更小。缺點(diǎn)是代碼邏輯要處理邊緣情況比如 DMA 寫指針繞回時(shí)和讀指針相等要判斷緩沖區(qū)是空還是滿這個(gè)標(biāo)簽位判斷一定要小心否則會(huì)復(fù)現(xiàn)那種“看起來偶發(fā)丟數(shù)據(jù)”的詭異 bug。4. DMA 性能實(shí)測與參數(shù)選擇解析聊完原理和選型很多人會(huì)問DMA 到底能快多少NEON 相比 memcpy 有沒有質(zhì)的提升這里我用自己的板子實(shí)測的數(shù)據(jù)來給一個(gè)直觀的參照。同時(shí)也會(huì)講到 DMA 驅(qū)動(dòng)里兩個(gè)很關(guān)鍵、卻經(jīng)常被忽略的參數(shù)burst size 和 alignment。4.1 實(shí)測數(shù)據(jù)CPU vs NEON vs DMA我基于一塊常見的 ARM 開發(fā)板主頻 1.2GHzDDR3 內(nèi)存分別測試了 4 種拷貝方式在不同數(shù)據(jù)量下的吞吐量。測試方法很簡單循環(huán)拷貝 1000 次記總時(shí)間除以總字節(jié)數(shù)得到帶寬。數(shù)據(jù)源是 16 字節(jié)對齊的內(nèi)存塊排除首末處理干擾??截惙绞?2B256B4KB1MBCPU memcpy0.9 GB/s1.8 GB/s2.1 GB/s2.2 GB/sNEON 優(yōu)化拷貝1.5 GB/s3.2 GB/s3.8 GB/s3.7 GB/sDMA含中斷開銷0.05 GB/s0.3 GB/s1.5 GB/s2.8 GB/s這個(gè)數(shù)據(jù)很能說明問題。在 32 字節(jié)的小數(shù)據(jù)塊場景下DMA 的速度慢到令人發(fā)指因?yàn)榕渲妹枋龇?、啟?dòng)通道、等待中斷這套流程的固定開銷遠(yuǎn)大于數(shù)據(jù)本身搬運(yùn)的時(shí)間。而 NEON 因?yàn)橄蛄坎⑿行?shù)據(jù)塊也能跑出不錯(cuò)的速度。在 4KB 這個(gè)檔位DMA 開始接近 CPU 的帶寬但仍未超越。到 1MB 級別DMA 才真正展現(xiàn)出吞吐優(yōu)勢加上它能做到 CPU 零占用綜合價(jià)值就遠(yuǎn)高于另外兩種了。所以別再迷信“DMA 快”這個(gè)說法。DMA 的價(jià)值是“解放 CPU”它的吞吐優(yōu)勢通常要在較大的數(shù)據(jù)塊下才能體現(xiàn)。4.2 Burst Size 的選擇與對齊策略DMA 配置里有個(gè)參數(shù)叫 Burst Size即每次總線事務(wù)突發(fā)訪問的次數(shù)。假設(shè)系統(tǒng)總線寬度是 64 位burst size 為 4 意味著 DMA 會(huì)一次性連續(xù)讀取 4 個(gè) 64 位數(shù)據(jù)也就是 32 字節(jié)連續(xù)訪問。這個(gè)參數(shù)極大地影響 DMA 的效率。理論上 burst 越大總線利用效率越高因?yàn)樗鼫p少了地址階段的切換開銷。但 burst 太大有一個(gè)副作用當(dāng) DMA 與 CPU 同時(shí)訪問內(nèi)存總線時(shí)DMA 會(huì)對總線進(jìn)行較長時(shí)間的“占用”導(dǎo)致 CPU 訪問內(nèi)存的延遲飆升影響整體性能。所以 burst size 并不是越大越好。我的建議是從小到大測試在典型負(fù)載下逐一測試 burst size 1、2、4、8選吞吐量和企業(yè)性能的平衡點(diǎn)。如果你的板子在 DMA 搬運(yùn)時(shí) CPU 表現(xiàn)明顯卡頓優(yōu)先減小 burst size。對齊策略則是另一個(gè)關(guān)鍵點(diǎn)。DMA 控制器通常要求源地址和目標(biāo)地址滿足一定對齊要求常見的有 4、8、16、32 字節(jié)對齊。如果你的 DMA 源數(shù)據(jù)是串口收來的字節(jié)流天然沒有對齊概念那就要在 DMA 描述符中配置允許非對齊訪問或者顯式地把數(shù)據(jù)搬到一個(gè)對齊緩沖區(qū)再進(jìn)行 DMA。否則硬件會(huì)報(bào)錯(cuò)或產(chǎn)生未知行為。NEON 拷貝也是一樣的邏輯只不過它自身對齊的要求是 16 字節(jié)寬只要源和目的地址都是 16 字節(jié)對齊NEON 就能以最高效率運(yùn)行。如果源地址是奇數(shù)偏移你只能用 vld1q_u8 之類的非對齊加載指令性能有所下降但不至于出錯(cuò)。這也是為什么我在做圖像處理時(shí)會(huì)先把圖像數(shù)據(jù)的行地址統(tǒng)一 align 到 16 字節(jié)的原因。5. 實(shí)戰(zhàn)中常見的坑與排查技巧現(xiàn)在進(jìn)入“坑位預(yù)警”環(huán)節(jié)。這三種拷貝方式帶來的問題通常都不是“性能不夠”而是“偶爾出錯(cuò)”“偶發(fā)卡死”“數(shù)據(jù)不對”。下面這些案例都是我自己或周圍同事實(shí)際踩過的把癥狀、原因、解決方案列出來大家可以對照排查。5.1 DMA 數(shù)據(jù)舊值問題cache 一致性徹底翻車有次在調(diào)試一個(gè)網(wǎng)絡(luò)驅(qū)動(dòng)客戶端收包的時(shí)候偶爾會(huì)出現(xiàn)相同的一包數(shù)據(jù)被重復(fù)上報(bào)。排查了很久發(fā)現(xiàn)不是協(xié)議問題而是 DMA 的 cache 一致性問題DMA 把新數(shù)據(jù)寫進(jìn)了內(nèi)存但 CPU 讀取時(shí)從 cache 讀到的是上一次的舊數(shù)據(jù)。這種情況特別容易在“DMA 接收緩存剛好命中 CPU 之前讀過的 cache line”時(shí)出現(xiàn)因?yàn)?CPU 對這塊內(nèi)存是有緩存的它覺得自己讀的是最新數(shù)據(jù)實(shí)際卻是舊的。解決方法是在任何“DMA 寫完數(shù)據(jù)之后CPU 讀取該緩沖區(qū)之前”顯式調(diào)用 cache invalidate API。Cortex-A 平臺通常有dma_map_single或dma_sync_single_for_device這樣的接口驅(qū)動(dòng)層直接調(diào)用即可。對裸機(jī)開發(fā)可以查 ARM 架構(gòu)手冊中的DC IVAC指令手動(dòng) invalidate。關(guān)鍵點(diǎn)在于這個(gè)動(dòng)作不能在 DMA 啟動(dòng)前一次性做完后就萬事大吉必須在每一次 DMA 傳輸完成后、CPU 讀數(shù)據(jù)前執(zhí)行否則就會(huì)出現(xiàn)“偶爾”的數(shù)據(jù)錯(cuò)亂。5.2 小數(shù)據(jù)塊 DMA 反而把系統(tǒng)拖垮有人把 DMA 用在頻率極高但數(shù)據(jù)量很小的場景比如每 100 微秒傳輸 32 字節(jié)的狀態(tài)信息。表面看 DMA 在搬運(yùn)這 32 字節(jié)但底層它在每 100 微秒就要觸發(fā)一次中斷CPU 被中斷子程序包圍。雖然中斷處理很短但高頻中斷對流水線預(yù)取、cache 命中率的破壞是巨大的???CPU 占用率可能不高但系統(tǒng)實(shí)時(shí)性嚴(yán)重惡化。這種情況我的經(jīng)驗(yàn)是直接改用 NEON 或普通 memcpy。32 字節(jié)的搬運(yùn)是百納秒級別DMA 的中斷開銷卻是微秒級別怎么算都不劃算。還有一個(gè)更隱蔽的坑DMA 中斷服務(wù)函數(shù)里的處理邏輯如果太復(fù)雜會(huì)導(dǎo)致下一次 DMA 中斷被延遲處理如果 DMA 通道沒有緩沖能力就可能丟數(shù)據(jù)。所以 DMA 中斷服務(wù)函數(shù)里要遵循“快進(jìn)快出”原則只做必要的數(shù)據(jù)指針更新和計(jì)數(shù)器維護(hù)真正的協(xié)議解析放到主循環(huán)或高優(yōu)先級任務(wù)里。5.3 NEON 拷貝在裸機(jī)上的數(shù)據(jù) ABORTNEON 指令本身不難難在它的使用環(huán)境。如果你在一個(gè)不帶 NEON 單元的老舊處理器上執(zhí)行 NEON 指令或者操作系統(tǒng)的 NEON 上下文保存與恢復(fù)機(jī)制沒有正確注冊就會(huì)觸發(fā) Undefined Instruction 異常。在 Linux 內(nèi)核模塊中使用 NEON 指令時(shí)要特別小心因?yàn)閮?nèi)核不保證 NEON 寄存器在上下文切換時(shí)被保存你需要先調(diào)用kernel_neon_begin()再執(zhí)行 NEON 代碼結(jié)束后調(diào)用kernel_neon_end()。裸機(jī)環(huán)境下相對簡單你只需要確認(rèn)編譯選項(xiàng)里打開了-mfpuneon鏈接時(shí)也要有對應(yīng)的浮點(diǎn)庫支持。否則即使代碼寫對了編譯出來的二進(jìn)制在真正執(zhí)行時(shí)也會(huì)異常。另一個(gè)容易踩的坑是指令集兼容性Cortex-A53 支持 NEON但某些入門級的 Cortex-M0/M0 根本不支持。所以在項(xiàng)目早期要明確目標(biāo)芯片的指令集范圍別把 NEON 拷貝代碼寫進(jìn)一個(gè)會(huì)被編譯到 M0 內(nèi)核的驅(qū)動(dòng)文件里那是災(zāi)難性的自找麻煩。6. 我自己的一套決策心法講了這么多原理和坑最后把這個(gè)選型思路凝練成一套簡單的判斷流程方便大家在實(shí)際項(xiàng)目中快速?zèng)Q策。先問三個(gè)問題數(shù)據(jù)塊多大傳輸頻率多高CPU 是否有更緊急的任務(wù)如果數(shù)據(jù)塊小于 256 字節(jié)或者傳輸頻率極高但每份數(shù)據(jù)只有幾個(gè)字節(jié)直接放棄 DMA選擇 NEON 或 memcpy如果數(shù)據(jù)塊大于 1KB并且傳輸頻率合理DMA 是第一選擇如果數(shù)據(jù)量在中間地帶就需要進(jìn)一步評估當(dāng)前 CPU 負(fù)載是否吃緊如果吃緊即使單次傳輸不太大也傾向于 DMA畢竟任何 CPU 拷貝的帶寬消耗都會(huì)占用核心執(zhí)行資源如果 CPU 還很閑那 NEON 的簡單高效就足夠了??紤]數(shù)據(jù)特點(diǎn)。如果源數(shù)據(jù)和目標(biāo)數(shù)據(jù)在內(nèi)存里天然是分散的比如多段不連續(xù)的內(nèi)存SG-DMA 的鏈表模式非常適合如果數(shù)據(jù)是連續(xù)的CPU 和 NEON 都可以簡單處理。考慮實(shí)時(shí)性。如果系統(tǒng)對中斷有極嚴(yán)格的要求比如中斷必須在某個(gè)硬期限內(nèi)響應(yīng)那 DMA 是唯一選擇因?yàn)樗诎徇\(yùn)大塊數(shù)據(jù)時(shí)不會(huì)阻塞 CPU。反之如果中斷的抖動(dòng)不太敏感NEON 反而簡單穩(wěn)定。這套心法的本質(zhì)就是一句話DMA 的價(jià)值不在“更快”而在“不占 CPU”NEON 的價(jià)值在“快而便宜”CPU memcpy 的價(jià)值在“簡單可靠”。三者的分工非常清晰沒有誰完全覆蓋誰。你只需要識別出自己的瓶頸到底在吞吐還是 CPU 占用答案往往就自己浮現(xiàn)了。寫到這里想起踩過的不少坑其實(shí)大多不是原理不懂而是沒把“為什么選它”想明白。抱著“DMA 一定比 CPU 快”的想法去設(shè)計(jì)幾個(gè)迭代之后就會(huì)撞上 cache 一致性、中斷延遲、描述符管理這些墻。反過來如果你帶著“讓合適的工具處理合適規(guī)模的數(shù)據(jù)”的思路去選型大部分情況下都能少走很多彎路。最后再分享一個(gè)小技巧把所有拷貝路徑做成一個(gè)統(tǒng)一的抽象接口內(nèi)部根據(jù)長度自動(dòng)選擇 memcpy、NEON 或 DMA這樣在項(xiàng)目初期不管你的選擇是否精準(zhǔn)后續(xù)調(diào)整都只需要改一處代碼不用把外層邏輯全部推翻。我就是靠著這個(gè)抽象層在一周之內(nèi)把整個(gè)通信驅(qū)動(dòng)的效率提了一倍也沒有引入新的難查 bug。希望這篇文章能幫你少掉幾根頭發(fā)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
日本国产二线女色| 久久精精区一区二区一蜜桃一区二区| 大香蕉伊人久久| 国产日韩精品一区二区三区| 九九九九一区| 欧美97色| 亚洲天堂,男人| 青青草日韩免费观看高清在线| 精品一区二区三区免费古装毛片香港三级日本三级人妇 | 久热在线精品免费观看| 久久久一区二区三区四曲免费听| 性爱AV天堂| 欧美天天弄| 婷婷亚洲五月***久久| 日韩丝袜高跟制服在线观看| 亚洲欧美国产va在线播放频| 日本999精品视频| BBBBB97COM| 国产精品探花视频| 欧美国产一区二区三区麻豆传媒| 超碰吊日色| 96久久精品一二三区色欲| 夜草欧美| 玖玖资源综合在线视频| 国产农村妇女精品1区二区| 91欧美网| 综合免费无码中文| 国产视频小说| 欧美十八禁视频| 江都AV在线| 秋霞Av理论一级在线| 超碰99在线| 蜜臀一二三区| 鲁鲁色综合网| 精品国产av一区二区三区四区入口| 黑操B| 骚逼一区二区| 另类专区在线观看| a片在线播放| 超碰天天久久79| 91黑人狂躁丰满熟妇| 亚洲天堂 视频你懂的| 中国熟妇| 日韩免费看在线黄色片| 伊人久久亚洲色欲综合网站 | 欧美午夜一区二区三区| 亚洲熟妇AV日韩熟妇在线| 逼逼逼逼操操操操操操操操操午夜剧场 | 久久久久久亚洲精品中文字幕人妻| 性感美女91影视| 97久久久| 亚洲伊人成综合成人网| 日韩精品9999| 一区三区啪啪| 思思热在线视频免费| 亚洲激情 欧美色图| 一级黄色性爱裸体视频| 亚州色图片在线色| 免费强奸av| 欧美日韩久久精品爱爱| 久久最新视频免费观看| 中文字幕青青草| 激情色色| 日本免费专区| 免费视频观看60秒| 天天摸天天舔天天操| 亚洲夜夜欢无码一区二区| 中文字幕一品色图| 91在线限制级| 色吧五月| 操逼1区| 国产内射爽爽大片| 97国产精品久久久久| 日日日日日| 国产在线观看91精品一区| 视频二区熟女人妻| 国产久久一区二区三区野外在线| 亚洲精品无码少妇久久| 熟女字幕| 99e久久国产精品| 国产AV人人 夜夜人人澡| 日韩精品一区二区三区色欲| 亚洲色图尤物视频| 超清中文乱码字幕| 女人香蕉久久毛毛片精品| 久久超碰、| a v网站在线播放| 亚洲高清自拍| 东京男人天堂| 久草精品一区| 性色高清在线| 午夜精品久久久久久久99蜜桃一| 午夜a成v人电影| 亚洲图片第一页| 欧美日韩国产人人| 99青青草国产视频| 色女综合| 怡红院视频在线| 91一区二区三区蜜桃| jiujiujiujingpin| 成人A片男人的天堂| 97啪啪| 国产AV激情无码久久无码| 91一区二匹| 亚州精品人妻一二三区| 日韩图区| 久久日本熟女精品一区| 色婷婷蜜臀av| 黑人中出21连凳花野真衣| 国产成人亚洲精品自产在线| 久久婷婷影院| 丝袜剧情| 校园春色 欧美| 激情六月天| 久久久久久人妻| 大伊香蕉在线视频免费| www.久久| 亚码激情| 国产精品久久久久久夜夜夜| 亚洲91亚洲| 婷婷色一区| 国产精品秘 福利姬在线观看| 日本日逼高清| 沈阳熟女高潮对白视频| 超碰97人妻在线| 人妻久久一区二区三区 | 日韩欧美经典在线观看| 欧美少妇性爱网站| 天天躁日日躁AAAXX| 人成午夜免费大片| 亚一综合久久久久久久久久| 澳门特级毛片免费观看| 久久99精品视频| 欧洲色| 人妻中文字幕日韩电影| 久久久国产三级黄色片| 天天爽爽爽爽| 蜜桃视频精品一区二区三区| 极品粉嫩一区二区| 97视频900| 色综合中文字幕不卡| 欧美日韩淫加| 东北女人操比视频| 一二区在线观看视频| 欧美91网站| 久久偷偷色综合蜜桃| 丝袜视频网国产90| 亚洲男人天堂手机版| 亚洲综合九九| 久久男人精品| 99999精品视频| 久干网| 91精品少妇搡搡搡| 超碰在线日韩一区| 亚洲欧洲综合av在线| 国产精品久久久久久久毛片1| 精品久久人妻成人网| 8050无码八戒| 91丨九色丨国产打屁股| 中文字幕制服欧美久久一区| 国产91丝袜在线播放蜜月| 91模特在线观看| 日本爽爽爽爽爽爽免费视频| AV乱伦专区| 秋霞免费AV| 国产精品免费日韩| 玖玖爱免费观看视频| 奇米狠999| 日本久久精品| 天天综合色电影| 佐山爱中文字幕| 超碰 国产熟女精品一区| 乱欲视频| 中文字幕精品区先锋资源| 精品少妇一区二区三区在线视频| 综合久欧洲| 欧美,亚洲,日韩,v,天堂,手机在线观看 | 亚洲无码免费看| 久久xx| 九九九九免费高| 国产日韩久久| 亚洲国产精品99久久久| 精彩视频日韩| 99热在线只有精品| 国产女性无套 免费观看| 人妻三级在线中文字幕| 97亚洲精品超碰| 十八禁的黄污污免费网站| 蜜臀久久99精品久久久久久成人小说| 嗯嗯不要 视频| 日韩在线视频1234| 欧美熟妇操操视频| 亚洲 欧美 日本 国内 首页| 国产AAAAAABBBBB| 另类在线| 清纯唯美激情| 青娱乐日韩无码| 97超碰亚洲| 2017天天拍大香蕉| 这里有精品| …中文字幕亚洲乱,97人妻无码费视…| 中文操逼字幕| 激情av| 欧美综合狠| 午夜亚洲WWW湿好大| 狠狠色丁香| 欧美精品,四区。五区| 欧美亚洲情色| 欧美日韩国产三级黄色| 亚洲制服欧美另类内射| 天天爽夜夜爽夜夜爽精| 日本三级R| 亚洲精品一区二区免费在线观看| 黄片qw| 中文字幕一区二区三区人妻少妇在线| 久久久555| 日韩人妻 中文字幕| 欧美一二在线| 久久的免费性爱视频| 国产人伦精品一区二区三区| 日韩一级二级三级免费看完整版国语版| 国产精品激情久久久久久久| 久久午夜神马| 欧美韩日精品99综合| 日韩一区二区高清在线观看的| 欧美日韩99| 一区二三区四区视频大全套| 隔壁邻居波多野结衣中文字幕| 欧美日韩免费专区在线| 欧美人人曰人人操人人射射| 日韩精品操少妇| 好色综合| 欧美 熟女 日韩| 天天弄天天操| 96超碰网| 丰满少妇一区二区三区四区观看| 亚洲国产一级黄色视频| 成人五月天色网| 亚洲精品性爱片| 丝袜美腿射精91| 国产人妻天天干精品| 久啪视频| 91neishe| 日韩欧美大力操| 热久久无毒不卡| 激情综合婷婷| 国产免费内射视频| 亚洲色图美腿丝袜| 国产成人无码网站在线视频| 免费视频在线一区二区不卡| 日韩 欧美 国产 麻豆| 久久老子无码午夜伦不卡| 中文字幕乱码在线| 九九九九免费高| 婷婷天堂站| 免费人成毛片乱码| 日韩欧美蜜桃精品久久中文字幕久久 | 一区| 动漫爆乳3D奶水一区在线观看| 玖玖久久久| 国产精品网站www| 免费黄色A片| 操逼操2| 加勒比伊人综合| 婷婷综合视频| 操操逼视频| 97se综合| 日韩欧美成人大香蕉| 黄色免费网页无码| 97干在线| 天天操人人操骚逼网站| 97色在线观看| 国产av美女被艹的乱叫| 啊啊啊啊啊啊啊啊视频| 一区二区视频你懂的| 亚洲AV免费在线| 区自美91| 97免费视频网| 亚热日本熟女| 日韩欧美麻豆大片| 久草免费福利在线播放| 亚洲国产成人精品999| 丝袜天堂网| 欧亚乱色熟一区二区三四区| 日韩成人综合网| 人妻一区二区三区视频 | 亚洲国产丝袜熟女av| 色妇91| 色爽爽文学| 成人三一级一片aaa| 强乱老妇中文字幕| 骚日日av| 亚洲情色 自拍| 日韩天天本| 日韩AV片| 欧美性爱三区二区| Av手机版天堂网| 日本精品一区二区不卡| 色色青青久久| 黑人综合色| 亚洲污污网站| 少妇天堂网络| 日韩免费簧片| 天天综合网91| 伊人国产AV| wuyechaopeng| 欧美亚洲丝袜美女电影| av强奸乱轮| 色伊人91| 男人天堂久久精品不卡| 成人免费视瓶| 91麻豆天美国产欧美日| 日韩伦理久 久久 清纯| 精品无码少妇| 先锋激情∨在线视频播放| 欧洲色色| 亚洲最新a在线观看| 操久久久久久| 91精品免费| 久久97超碰| 激情五月天综合网| 亚洲第一页综合在线| 俄罗斯一区二区视频在线观看| 婷婷国产精品九区| 久草精品在线| 操一区| 中美日韩毛片| 色翁荡息又大又硬又粗又爽| 国产乱人妻精品入口| 日韩av熟女一区二区三区成人| 国产免费一区| 婷婷五月天激情网| 神马影院午夜福利久久久| 欧美写真视频一区| 久久久久久91香蕉国产| 首页中文字幕中文字幕免费| 老鸭窝在线视频播放| 国产精品自在自拍视频| 欧美日韩夜夜| 78m啪啪啪| 五月丁香在线| 久99热| 日本2020一区二区| 九九久久99| 久草成人| 久草精品热视| 少妇一级婬片免费放一级a性色.| 伊人青青草久久| 91大神精品长腿在线观看网站| 色性综合| 日韩偷拍一区二区三区| 国产嫩草精品A88AV| 日韩性爱高清免费视频| 欧色网址| 男女啪啪网站免费视频| 97综合在线观看| 久久天天艹| 色悠久久久av| 91人妻丝袜无码| 久久久久国产精品片区无码直播 | 久久久精品中文字幕麻豆| 日本污ww视频网站| 操逼啊啊啊91| 黄片视频,下载| 婷婷激情丁香| 国产粉嫩蜜臀av一区二区三区| www.久久最新地址| 老熟女综合| 欧洲乱码视频| 一区二区三区精品黑丝白丝酒店对鸡| 先锋激情∨在线视频播放| se吧提供国产乱老熟视频胖女人| 91成人18| 啊啊啊想要| 日韩在线观看中文字幕视频| 日韩偷拍一区二区三区| 在线视频 亚洲精品| 97碰碰色| 中文字幕人妻丝袜乱一区三区| 亚洲天堂另类| 欲香欲色综合天天伊人| 综合五月婷婷亚洲一区| 国产精品一区二区三区,亚洲综合| 夜夜做夜夜爽精品视频| 亚洲玖玖爱| 亚洲天堂男| 亚洲av青草久久一区二区| 天美传媒婬乱| 国产一级作爱毛片| www.激情| 金典av| 国产精品网站免费| 夜夜黄| 国产三级电影免费观看| 精品视频久久久久九九九九9999| 天天综合网91入口| 色噜噜人妻av中文字幕| 91亚洲欧美| 日本精品无码三级网站| 91爱综合| 夜夜躁狠狠躁日日躁av| 嗯啊视频免费在线观看| 色综合一区二区三巨| 伊人伊人LD| 91殴美| 国内自拍 日韩激情 99| 色妺妺AⅤ| 欧美日韩大香蕉| 精品一区二区亚洲国产| 亚洲一二三四区机械| 天天日天天干天天摸天天操| 免费久久一级毛片大黄| 久久久999日本大片| 久久久久久99999国产精品| 亚洲国产成人精品女人久久久| 免费观看的黄色的网站| 91在线色| 亚洲综合另类小说色区亚洲成av人片在www | 大香蕉综合网| 91精品女厕偷拍视频| 亚洲五月婷婷| 91熟女丨老女人| 亚洲欧美日韩夜夜| 亚洲欧美综合网| 日本欧美国内在线| 欧美最大综合网| 噜噜噜在线视频| 久久九精品| 国内毛片婷婷六月色| 在线岛国新天堂8| 伊人大香蕉在线| 97超碰人人操人人操| 亚洲 中文 女同| 免费成人自拍视频在线| 91网18| 欧美另类精品xxxx| 欧美色997| 黑人无码一区二区| 欧洲亚洲人妻无码高清久久三区四区| 久久最新免费视频23| 亚洲av无码国产精品字幕| 97超碰总站| 欧美高潮| 婷婷情色综合网| 人人摸人人添人人操| 欧美综合色图片| 中文字幕 一区二区 亚洲无码| 精品无码不卡视频| 久久久夜夜夜| av2014 日韩在线中文字幕| av优播| 久久鲁干| 操逼操网| 你想操日本小逼吗| 影音先锋日本一区二区| 97精品国产| 久久久国产亚洲精品系列| 欧美色亚洲色| 国产丁香精品露脸视频| 综合91网| 好爽免费视频,| 国产一区二区三区不卡手机在线| 精品人妻伦一二三区久久| 先锋色眉乱伦资源| 亚洲 自拍偷拍 欧美| 久96热在线观看视频| 国产99999| 日韩大香蕉| 欧美色九九| 日本色色色视频| 青青操网| 国产美女裸体秘 永久无遮挡| 国产熟女少妇一区| 中国一级特黄大片护士| 欧美日韩操逼嗦吊| 免费αV在线视频| 欧美亚洲手机在线| 国产精品一级片在线看| 操狠狠| 久久久女人| 欧美黄片欧美黄片xxx| 91久久午夜无码鲁丝片久久人妻| 日本大香蕉综合网红本杳社区| 少妇人妻太紧太深av| 亚洲五区熟女| 亚洲天堂在线怕怕视频| 久久欧美1卡2卡3| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区 | 亚欧Av| 欧美香蕉视xxx| 亚洲综合中文字幕有码| 久久黄人人爽视频| 国产午夜无码片在线观看影视 | 精品在线78| 欧美中文综合| 色综合99| 91东北熟女| 狠狠夜色午夜久久综合在线| 自拍亚洲综合| 亚洲欧美洲综合| 久久成人东京热人妻| 蜜桃臀久久| 日韩电影在线观看网址| wwwss在线观看| 97久久国产精品| 激情无码日韩| 欧美78| 成人26uuu| 久久9精品视频| 91狠狠综合网| 澳门成人网站久国产日韩| 丰满人妻一区二区三区四区| 久久婷五月| 久久久久国色αv免费观看| 这里都是精品在线观看| 欧美综合传媒| 99无码视频| 国产97视频| 欧洲综合视频| 一区二区三区美女超清| 丝袜视频一区二区在线播放国产中文| 国产亚洲色婷婷久久99精品91 - 百度| 蜜臀av在线播放一区二区三区| 9久久久久| 亚洲中文制服诱惑| 福利操逼| 午夜欧美精品久久久| 色噜噜人妻av 中文字幕| 操逼无码操逼| 99日免费视频中文字幕| 久久97| 立川理惠被中出无码| 麻豆 亚洲 97| 五月丁香综合| 国产精品嫩草影院午夜两性| 日本免费一区二区不卡| 六月丁丁香| 日韩操p| 欧美日韩国产精品久久色婷婷| 99热这里只有精品9| 99精品国产户外露出| 日韩丨制服丨中文|在线| 天天操综合网| 萌白酱自拍视频| 91色插| 一区二区视频你懂的| 口爆综合网| 岛国毛片手机在线观看| 国产一区在线看| 一二视频神马久久传媒| 影音综合网| 久久婷婷色| 在线观看亚洲专区| 亚洲h片在线免费观看| 亚洲欧美97| 人妻大香蕉| 物尤视频一区二区| 亚洲情色1区| 色综合天天| 性爱av在线免费观看| 国产人妖视频一区在线观看| 精品免费一区| 97超碰超| 97超碰欧美手机| 国产午夜福利合集| 日韩特一级久久| 使劲用力艹少妇视频一区二区 | 国产黄色小视频网站| 精品无码秘 人妻一区二区 | 99中出在线| 色色色综合网| 婷婷久草一区二区三区| 亚洲色婷婷| 中文字幕一区av| 久操婷婷| 欧美大码在线视频| 91国产精品熟女| 亚洲国产剧情少妇激情| 97干在线看| 啊啊啊好湿久久| 91色爽欧美| juliaann丝袜| 抽插亚洲无码| 日本精品五区| 曰韩av中文字幕专区| 啊啊啊啊啊好大好舒服想要| 传媒在线观看一区二区三区| 日韩欧美中文| 一区二区 电影 亚洲| 亚洲欧美情色| 久久久网站| 九九热午夜欧亚国产视频| av爱爱爱| 在线天堂999| 欧美高清第一页| 99精品久久| 国产三级中文字幕粉嫩 | 人妻精品一区二区| 精品少妇一区二区三区在线视频| 亚洲男人的天堂网| 99这里只有精品国产| 丰满少妇一区二区三区四区观看| 97视频免费| 日本99视频| 午夜精品久久久久久久第一页按摩| 国产成人无码高清| 亚洲美腿丝袜香蕉影视欧美成人| 亚洲午夜福利在线影院| 男人天堂无码| 超碰免费人人| 久久久精品网| 蜜臀在线免费观看在线免费观看| 精品国产乱码久久| 超碰 另类 欧美 | 欧美少妇性爱网站| 天堂综合| 色噜噜狠狠色综合日日| 翘臀vidoes| 热久久99999| 99国产精品| 无码聚合| 亚洲一二三精品久久网| 啊啊啊啊啊啊啊啊啊啊在线观看| 久久日本熟妇熟色一区| 十八岁啪啪视频免费看| 97亚洲综合电影| 日韩精品人妻中文字有码在线| 欧美精品亚洲精品日韩传电影| 上特色A在线| 国产精品无码在线| 熟妇高潮一区二区免费视频| 麻豆人妻偷人精品无码视频| 天天爱天天操| 亚洲黄色a级片| 久久久久骚| 精品丰满熟妇人妻一区| 69av一区二区三区| 后入式在线免费观看60秒| 欧美激情综合| 久久久久久久六六| 精品成人av一区二区三区在线| 亚欧洲日韩国产精品| 91综合在线| 久久夜夜| 东北女人操比视频| 可以看的av| 亚洲 无码 偷拍| 天天激色| 男人天堂一区二区| 家庭乱伦国产精品| 丝袜天堂网| 青青国产精品在线| 夜夜天天噜狠狠爱2021| 久久噜噜噜精品国产亚洲综合| 啪啪91| 国产家庭乱伦表演| 黄页网站成人免费| 台湾肥佬网一区二区三区| 人人人人插| 亚欧成人一级片在线播放| 久久亚洲熟妇在线视频| 亚洲色啪| 无码逼| 久久久97| 欧美男人的天堂| 91N综合在线| 国模一区二区三区| 偷拍自拍在线视频观看| 人人操人人干网页| 精品国产一区二区三区四区在线看 | 操国产逼| 欧美亚洲自拍另类人妻| 啊啊啊啊免费视频| 亚洲在钱| 欧美91久久久久| 欧美色图成人网一区二区 | 懂色Av一区二区三区| 超碰视97中文| 亚洲少妇激情一区二区三区| 人人搡人人肉久久精品| 超碰欧美在线欧美| 超碰97网址| 在线女人91| 97天天爽| 乱精品一区字幕二区| 97精品综合久久| 中文字幕亚洲热播人妻| AA级电影三区| 我要去看2个日本美女.com曹逼| 国产成人五月天丁香花| 中文字幕第二页| 97网址97| 操逼无毒无码免费视频| av东京热男人的天堂| 亚洲日韩天堂| 老色69| 97欧美精品综合| 最新9久久久9免费视频| 国产精品网址| 中国和日本人色哪个不下载能放| 日本男人天堂| 午夜福利激情在线视频| 色女免费在线观看视频网址| 插入粉嫩少妇视频| 欧美AB在线| 草草网站影院白丝内射| 婷婷五月天av| 久偷拍欧美日韩三区| 91第一页| 综合免费无码中文| 亚州AV无码国产精品| 久久性爱精品一区| 国产高清免费不卡av| 另类亚洲一区二区三区| 东京热,男人的天堂| 日日干日日摸| 91成人无码| 天天综合精品| 欧美少妇高潮久久91| 岛国片国产成人亚洲播放| 久热精品在线| 久久最新免费视频23| 国产成人无码a| 啊啊啊轻点在线观看| 97干日韩| 太久视频| 偷拍亚洲| 2017超碰| 中文字幕av色| 亚洲中文国际强奸字幕| 97久久国产精品女不卡| 97视频在线观看高清资源| 國產尤物AV尤物在線觀看| 久久区| 无码人妻精品一区二区三区九九| 97色在线| 又大又长又粗又爽又黄| 超碰色图| 色麻豆AV| 亚洲精品一区二区三区新线路| 一区二区三区黄片免费观看| 欧美97在线欧| 日韩大香蕉精品在线视频| 超碰亚洲97| 国产成人精品日本视频| 欧美视频一| 久久精品操| 亚洲自拍一区夜夜操| 色综合五月天| 国产AV无码AV| 亚洲欧洲av影音| 人妻夜爽夜夜爽| 欧美日韩国产电影| 亚洲 欧美都市激情| 国产 日韩 欧美 中文 另类,国产 欧美 另类 制服 变态,高清 日韩 欧美 中文,高 | 婷婷色香| 色五月婷婷麻豆在| 国人欧美精品一区二区| 欧美日韩大香蕉| 中国91AV| 春色综合免费| 91欧美另类| 伊人影院在线理论播放 | 96久久久精品| 91jk色拍| 久操高青| 国产刺激视频| 丁香婷婷九月| 91天堂色男人的天堂| 91人妻最真实刺激绿帽| 精品国产Av无码久久久伦古装| 五月天精品| 91色综合色| 九九九九九九九九九五码| 91人妻丝袜无码| 五月天色图影视| 色色综合网站| 欧美日韩性爱精品| AV无码久久久精品| 国产亚洲中文不卡二区| 东京热视频网| 人人弄人人摸| 欧美色网| 亚洲色图综合| 91w欧美| 亚洲在线a| 久久人妻熟女一区二区 | 色综合一本| 四虎精品永久在线播放| 日少妇视频| 久久 精品| 999精品久久久久久久| 水滴偷拍| 欧美一二三| 久久久久国产精品久久久| 怡红院成人视频| 日本韩国五十路六十路七十路老熟女作爱视频网站 | 97欧美综合网| 免费在线视频97| 亚洲欧洲日韩中文字幕一区| 91制服丝袜| 9久久精品| 中文字幕熟女人妻丝袜| 懂色aV一区二区天美传媒| 婷婷婷婷婷婷久久久久| 伊人热综合| 内射老妇BBWX0C0CK| 综合av社区| 国产精品一区av在线| 亚欧成人综合影院| 国产福利小视频高清在线观看| 97人人操人人摸人人爱| 麻豆啪啪啪视频| 五月丁香激情啪啪| 98一区二区精品| 9999伦理视频| 欧美 日韩 婷婷 五月| 天美传媒av在线| 欧美淫乱视频| 精品欧美乱码久| 日本操逼视频免费| 秋霞成人一级在线观看| 国产日韩在线播放| 能看的AV| 亚州色站 日韩电影| 六月婷婷一区二区三区| 日本五区不卡| 亚洲图片第一页| 视频一区二区三区精品| 国产精品免费日韩| 五月婷婷啪啪| 亚洲 图片 欧美 色图| 亚洲自拍欧美色综合| 91狠狠狠| 天天看夜夜看日日干| 97精品熟女少妇一区| 亚洲成人久久美女| 夜夜夜久久| 欧美变态激情网| 欧美色91| 中文字幕久久婷婷丁香五月天| 少妇人妻好深太紧了vr91| 国产激情片在线观看| 97AV爱| 粉嫩久久久久| 男人综合网| 青青免费在线视频一区| 欧美性爱伊人| 刺激性视频黄页| 人妻少妇久久| 99久久久无码国产精品性啊聊| 插穴性爱视频在线观看| 91无人区卡一卡二卡三乱码入口最新版:能让用户有更多选择的选择-经典说说-爱 | 裸体美女免费看网站青草| 日韩ab网 | 色婷婷五月天| 日本天天干天天搞一区| 快灬快灬 一下爽蜜桃在线观看| 欧美区亚洲区偷拍区| 成人性爱电影一区二区| 99国产在线绯色一区| 亚洲极品| a片偷拍视频| 久久九色| 97一区二区三区视频| 中文字幕在线免费观看| 强奸乱伦Av网| 黑丝少妇麻豆| 中文字幕福利视频一区二区三区在线观看| 国产精品人妻一区二区| 色五月首页| 高清肉丝中文无码| 97在线免费观看视频| 国产a级午夜毛片| 国产性感在线观看| 欧美性91| 一级A片女人高潮叫床| 欧美五区| 91丨人妻丨国产丨丝袜| 97任你吞精| 青青草五月天| 啊啊啊好想要| 亚洲黄色影视| 日本久久999| 黄片qw| 欧美黑人XXXⅩ高潮交| 亚洲蜜臀精品视频久久| 欧美日韩国产黄色片| 久久的网站啊啊啊啊啊| 操人妻视频| 日本3级一区二区免费| 欧美激情久久久久| 影音先锋每日最新资源在线观看| 一区二区偷拍拍视频| 国产黑白丝在线| 一级黄色性爱A级片| 嗯嗯啊啊亚欧精品| 91在线视频国产网站| 九九色色| 夜夜骑日日| 日韩探花精品在线视频| 最新av在线| www.亚洲黄色| 91美腿丝袜在线观看| 一本久道久久综合狠狠爱一密臀精 | 污啪啪啪视频| 中文字幕一区二区三区人妻不卡 | 岛国网址国产 | 亚洲无码 国产无码| 91麻豆天美国产欧美| 欧美的精品的视频| 九九99精品| 久肏视频字幕| 高清国产av无码| 青草伊人久久| 国产激情在线| 超碰在线在公开超碰在线在公开| 少妇干B| 嫩草 我啊~嗯~在线| 日本精品无码三级网站| 素人无码中文字幕| 美女午夜福利免费视频| 色综合超碰超| 亚洲国产成人精品无码专区| 久久国产999| 人、人、摸,人、人、草| 久久久精品成人国产| 天堂精品| 99爱爱| 久久久久久久91| 久久婷婷国产一区二区色| 亚洲另类天堂| 久久一区无码| 亚洲熟女乱色一区二区三区| 欧美97在线观看| 黄色激情电影在线观看| 小骚逼被操的爽不爽| 久久直播国产| 少妇精品久久久八区九区| 精品一区二区亚洲国产| 亚洲欧美骚| 亚洲人成色9999精品久久 | 日韩性爱啪啪视频| 99re8免费高清在线| 久操网址| 欧美色图99| 男人亚洲91首页在线| 无码久久亚洲高清,| 天天天天做夜夜夜夜做| 久久无码电影| 日韩一级二级三级| 精品99999久久久久久| 国产成人 综合亚洲 天堂| 超碰碰激情97+久| 日本性爱少妇| 97碰久久| 骚逼一区二区| 亚洲欧美在线观看2021| 久久久日本电影| 第四色亚洲色图| 秋霞免费AV| 色综合91好| 东北女人的毛片| 婷婷中文网| 亚洲精品97| 91综合国产精品| 91久久久久久久久18| 色综合av综合久久| 日韩综合97P| 婷婷五月天影院| 老司机深夜18禁污污网站| 青青三级视频| 红杏大香蕉| 在线看的av| 外国免费性情大片| 久久有码| 丁香五月性| 亚洲欧美精品国产一区二区| 精品二区三四区五电影 | 五月丁香六月婷| 我要去看2个日本美女.com曹逼| 亚洲资源网| 超碰超碰95| 黄色小视频日本txt| 国产极品馒头逼| 任我爽在线视频免费观看| 久久91| 无码操逼天堂| 久久精彩视频9| 色小视频蜜乳| 无码免费在线观看黄色片| 夜夜久久久| 天天看片麻豆| 亚码激情| 亚洲制服欧美另类内射| 人人看黄色视频| 97色操| 裸体1区| 人人喜人人妻| 激情久久av一区av二区av| 1769国内精品视频| 超碰99re| 亚洲极品| 熟女欧美日韩综合婷婷| 日韩免费人妻色情网站| 最新国产亚洲精品精品国产亚洲综合| 天堂v无码免费视频| 欧美,日韩,中文,另类| 国产精品第二页| 九九精品美女高溯喷水| 婷婷五月天AV| 国产乱码精品一区二区三区四川| 88xx成人精品视频| juliaann欧美丝袜办公室| 风骚少妇视频中文字幕| 色噜噜人妻丝袜AV资源| 91neishe| 人妻AV在线| 亚洲九月丁香| 亚洲h片在线免费观看| 欧美在线播放| 综合色欧美| 我爱操| 综合97久久| 亚洲天堂日本| 黄色不卡视频| 久久超碰97中文字幕| 91九久| 欧美午夜精品久久久久久3D | 青青草天天亲夜夜操网| 日va操| 亚洲国产奇米影视久久| 欧美的性爱网站免费| 99精品国产户外露出| 天久久久噜噜噜久久国产精品爽爽 | 黄片免费久久久久久久| 天天躁日日躁AAAAXXXX国产| 久久性爱视频免费看| 大色综合| 亚洲欧美不卡线| 另类欧美色| 男人综合网| 亚洲天堂加勒比| 久久久91| 天天做天天爱| 夜夜爽夜夜| 亚洲日韩国产精品| 国产捆绑一区| 91天天看| 国产日韩精品suv| 国产精品久久久久久亚洲色欲| 2020久久免费视频| yw尤物av无码点击进入麻豆| 综合久久少妇中文字幕| 国产亚洲色婷婷久久99精品91 - 百度| 五十路熟女人妻一区二区在线观看| 日逼97| 亚洲国产成人精品女人久久久| 少妇综合网| 国产兽交视频在线播放| 欧美偷拍区| 少妇人妻太紧太深av| 乱伦图av| 69精品久久久久中文字幕| 日韩一级片在线看| 超碰人人在线| 国产欧美伊人| 免费看污网站| 狠狠躁天天躁日日躁| 天天躁狠狠躁av| 日韩欧美久久婷婷网站| 欧美日韩色| 曰韩中文人妻视频| 強姦亂倫a| 岛国片国产成人亚洲播放| 操屄不卡视频| 天天干美少妇一区| 国产精品国产自产拍高清AV| 大吊色| 99re6国产精品99re| 日韩精品人妻中文字幕不卡乱码| 美欧色综合| 在线中文字幕| 黄片aaaaa一区| 东京热免费视频| 亚洲国产一区二区三区在线| AV在线资源| 99热线麻豆 | 精品国产av一区二区三区四区入口| 亚洲精品白浆高清久久久久久 | 久久香蕉国产传媒一区剧情天美| 日本三级人妻a人妻一在线| 日韩9999| 亚洲风情综合网| 中文久久| 欧美大香蕉专区网| 91在线色综合| 美女黑人91神马| 97伊人| 亚洲欧美在线观看无码| 操逼网站地址| 精品人妻二区三区| 另类成人首页一区| 嗯嗯啊啊操我| 成人三一级一片aaa| 激情婷婷| 操一区| 欧美亚洲首页| 一本精品日本在线视频精品 | 俺去也婷婷| 久久久久久中文版| 国产亚洲日韩欧| 男生女生啊啊啊啊| 最新中文字幕av| 亚91网| 性色av大全| 激情综合色| 另类 综合 日韩 欧美 亚洲| 青青草大香蕉视频| 天天躁日日躁成人字幕aⅴ| 女人爽到高潮潮喷18禁网站| 九九九久千久久激情蜜桃在线看| 熟女久久久| 日韩字幕一区| 久久XX| 日本好吊色视频| 新亚洲无码| 欧美成va视频网站| 久久久性爱视频| 亚洲日韩美女丝袜美腿人妻视频| 在线欧美69V免费观看视频| 插入综合网| 极品美女嘿咻| 377p欧洲日本亚洲大胆| 色穴精品| 欧美操逼录像国产黄色国产| 久久黄色性爱视频| 这里是精品| 亚洲狠| 日韩精品视频在线观看一卡二卡| 天天天乱色综合全| 日日摸天天爽夜夜欢| 国产乱伦一二三区| 精品成人女人久久| 手机在线免费看的av| 综合影院亚洲| 十八禁黄色| 日日碰狠狠添天天爽超| 久久国语| 成人无码在线视频网站| 久悠悠av| 亚洲国产天堂| 免费看日产一区二区三区| 伦理弟一页| 丁香九月 婷婷| 91 国产丝袜在线放观看| 综合色91| 五月天色综合| 蜜汁欧美| 自拍偷拍2025在线观看|