日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

嵌入式數(shù)據(jù)拷貝選型:DMA、NEON與CPU拷貝性能對比與決策指南

嵌入式數(shù)據(jù)拷貝選型:DMA、NEON與CPU拷貝性能對比與決策指南 1. 抉擇背后的核心問題先說結(jié)論沒有最好的拷貝方式只有最適合當(dāng)前場景的拷貝方式。DMA、NEON、CPU普通拷貝這三條路分別對應(yīng)的是“解放CPU” “榨干CPU”和“直接用CPU”三種思路選錯(cuò)了輕則性能白扔重則系統(tǒng)卡頓、數(shù)據(jù)錯(cuò)亂。我在嵌入式開發(fā)里被這個(gè)問題折騰過很多次早期做過一個(gè)視頻采集項(xiàng)目Sensor數(shù)據(jù)量大概一幀2MB幀率30fps也就是每秒要搬60MB數(shù)據(jù)。一開始無腦用CPU普通拷貝結(jié)果主控芯片的CPU占用率直接被拉到40%以上主線程處理協(xié)議棧的時(shí)間被嚴(yán)重?cái)D壓丟幀丟到客戶投訴。后來逐個(gè)換成NEON優(yōu)化、DMA搬運(yùn)才把CPU占用率壓到了5%以內(nèi)。所以這個(gè)選擇問題的本質(zhì)其實(shí)是四件事的權(quán)衡數(shù)據(jù)量大小、拷貝頻率、CPU當(dāng)前是否緊張、硬件平臺(tái)支持情況。這四件事沒有一件是可以拍腦袋決定的。另外一個(gè)容易被忽略的關(guān)鍵點(diǎn)是很多人以為NEON和DMA是替代關(guān)系其實(shí)不是。NEON是CPU內(nèi)部的SIMD指令集擴(kuò)展數(shù)據(jù)搬運(yùn)路徑依然要經(jīng)過CPU核心DMA是獨(dú)立于CPU的數(shù)據(jù)搬運(yùn)引擎搬數(shù)據(jù)這件事本身不占CPU算力。兩者解決的問題有重疊但定位完全不同。這篇文章會(huì)把每個(gè)方案的本質(zhì)、適用邊界、性能天花板和坑都攤開聊一遍最后給你一張可以直接照著選的決策表。2. 三種拷貝方式的本質(zhì)區(qū)別2.1 DMA把拷貝這件事外包出去DMA全稱Direct Memory Access直接存儲(chǔ)器訪問。它和CPU的關(guān)系可以理解成“老板和外包團(tuán)隊(duì)”的關(guān)系。老板CPU把活交代下去——比如“把這塊內(nèi)存的數(shù)據(jù)搬到那塊內(nèi)存”——外包團(tuán)隊(duì)DMA控制器自己干完活再回來匯報(bào)中間老板該干嘛干嘛不用盯著。從硬件路徑上看DMA控制器是掛在總線上的獨(dú)立模塊源地址、目的地址、傳輸長度、傳輸模式這些參數(shù)由CPU配置好之后DMA就自己接管總線進(jìn)行數(shù)據(jù)傳輸。整個(gè)過程CPU不參與數(shù)據(jù)的讀寫只在傳輸完成或出錯(cuò)時(shí)收到中斷信號(hào)。DMA的典型使用場景是大塊數(shù)據(jù)的周期性搬運(yùn)比如ADC采樣數(shù)據(jù)環(huán)形緩沖區(qū)的讀取、串口或SPI接收FIFO的搬移、攝像頭Sensor數(shù)據(jù)到內(nèi)存緩沖區(qū)的傳輸、外部SDRAM和內(nèi)部SRAM之間的數(shù)據(jù)搬移。這些場景共同的特點(diǎn)是數(shù)據(jù)量不小、傳輸行為規(guī)律、頻率固定。用DMA要付出的代價(jià)是配置和觸發(fā)開銷也就是所謂的“啟動(dòng)成本”。完整的DMA傳輸需要經(jīng)歷關(guān)中斷、配置源地址、配置目的地址、配置傳輸長度、配置傳輸模式單次/循環(huán)/突發(fā)、使能DMA、等待完成中斷這樣一串流程啟動(dòng)延遲通常在微妙級(jí)別對于幾KB以下的小塊數(shù)據(jù)這個(gè)啟動(dòng)成本可能比CPU直接拷貝還要高。2.2 NEON讓CPU本身變得更快NEON是ARM架構(gòu)下的SIMD單指令多數(shù)據(jù)擴(kuò)展技術(shù)從ARMv7開始引入到ARMv8AArch64進(jìn)一步完善。它做的事情用一個(gè)生活類比解釋就是普通CPU拷貝像一個(gè)人一個(gè)人地搬箱子NEON拷貝像給你一個(gè)超大的托盤一次可以端八個(gè)箱子走。具體到指令層面NEON寄存器寬度是128位AArch64下有32個(gè)128位寄存器一條指令可以同時(shí)處理4個(gè)32位數(shù)據(jù)或者8個(gè)16位數(shù)據(jù)。做內(nèi)存拷貝時(shí)vld1q_u8一次從內(nèi)存加載16字節(jié)到NEON寄存器vst1q_u8一次把16字節(jié)寫回內(nèi)存。如果配合ldp/stp這樣的64位加載存儲(chǔ)指令做雙路展開再加上循環(huán)展開loop unrolling、預(yù)取prefetch和緩存對齊優(yōu)化實(shí)際的拷貝帶寬可以逼近CPU內(nèi)存帶寬的理論上限。NEON拷貝和CPU普通拷貝最大的區(qū)別在于它依然消耗CPU核心但單位時(shí)間內(nèi)搬運(yùn)的數(shù)據(jù)量大幅提升。也就是說CPU占用率不會(huì)降到零但完成同樣大小數(shù)據(jù)拷貝所需的時(shí)間大幅縮短騰出來的“時(shí)間片”可以用來做別的任務(wù)。NEON特別適合的數(shù)據(jù)特征是數(shù)據(jù)塊較大、內(nèi)存對齊良好、CPU有空閑算力可供調(diào)度。比如音視頻幀緩沖處理、圖像預(yù)處理、協(xié)議棧數(shù)據(jù)包頭解析重組等。2.3 CPU普通拷貝最樸素但未必最慢CPU普通拷貝就是常見的memcpy實(shí)現(xiàn)通過加載/存儲(chǔ)指令逐字節(jié)或逐字搬運(yùn)數(shù)據(jù)。在C語言層面寫一個(gè)循環(huán)for (i 0; i n; i) dst[i] src[i];編譯成匯編后就是ldrb/strb或者ldr/str指令的循環(huán)執(zhí)行。樸素的CPU拷貝有一個(gè)常被忽略的優(yōu)勢小數(shù)據(jù)量場景下延遲極低。因?yàn)閿?shù)據(jù)量小的時(shí)候不需要像DMA那樣花時(shí)間做配置也不需要像NEON那樣處理向量加載的對齊問題幾條加載存儲(chǔ)指令就直接完事了。如果你的數(shù)據(jù)量只有幾十字節(jié)到幾百字節(jié)CPU普通拷貝往往是最快的方式。但CPU拷貝的性能會(huì)隨著數(shù)據(jù)量和拷貝次數(shù)的增加迅速惡化。因?yàn)槊堪徇\(yùn)一個(gè)數(shù)據(jù)單元都要執(zhí)行至少兩條指令加載存儲(chǔ)指令開銷直接和數(shù)據(jù)量成正比而且大規(guī)模的搬運(yùn)會(huì)頻繁觸碰Cache Miss和內(nèi)存頁錯(cuò)誤導(dǎo)致性能斷崖式下降。另外CPU普通拷貝還有一個(gè)不為人知的坑如果拷貝操作發(fā)生在中斷上下文耗時(shí)過長會(huì)直接導(dǎo)致系統(tǒng)抖動(dòng)特別是在實(shí)時(shí)性要求高的系統(tǒng)里一個(gè)大memcpy會(huì)阻塞中斷響應(yīng)造成微妙到毫秒級(jí)的延遲毛刺。2.4 一張圖看懂三者的關(guān)鍵差異維度DMANEONCPU普通拷貝CPU參與程度初始化后幾乎不參與全程參與但效率高全程參與數(shù)據(jù)吞吐上限取決于總線帶寬取決于CPU內(nèi)存帶寬取決于指令執(zhí)行速度小數(shù)據(jù)量1KB配置開銷大不劃算有一定開銷中等最快延遲最低大數(shù)據(jù)量100KB最優(yōu)CPU可做其他事很優(yōu)但吃CPU慢且占用CPU實(shí)現(xiàn)復(fù)雜度中等寄存器配置較多中等需要指令優(yōu)化最低典型場景外設(shè)數(shù)據(jù)流、大塊周期性搬運(yùn)音視頻處理、內(nèi)存密集型運(yùn)算小塊數(shù)據(jù)、臨時(shí)緩沖拷貝3. 選型決策框架四步鎖定正確方案這一節(jié)我把實(shí)踐中的判斷流程做成一個(gè)四步法照著走大多數(shù)場景都能得出明確結(jié)論。3.1 第一步先看數(shù)據(jù)量級(jí)數(shù)據(jù)量是最先要判斷的指標(biāo)因?yàn)樗苯觿澏朔桨傅拇蠓较?。?shù)據(jù)量小于1KB默認(rèn)選CPU普通拷貝。這個(gè)量級(jí)下DMA的配置開銷遠(yuǎn)大于節(jié)省下來的搬運(yùn)時(shí)間NEON的好處也體現(xiàn)不出來。比如一個(gè)網(wǎng)絡(luò)協(xié)議包頭解析、一個(gè)結(jié)構(gòu)體備份、一個(gè)寄存器配置塊的傳遞直接memcpy就好。數(shù)據(jù)量在1KB到16KB之間需要結(jié)合CPU占用情況判斷。如果這段代碼所在的任務(wù)對延遲敏感且CPU空閑用NEON如果這段代碼在頻繁調(diào)用的路徑里且CPU本身繁忙可以考慮DMA。數(shù)據(jù)量大于16KB優(yōu)先考慮DMA。尤其是周期性出現(xiàn)的搬運(yùn)任務(wù)比如圖像幀、音頻流、大塊日志落盤緩沖。如果不希望引入DMA配置的復(fù)雜度NEON是第二選擇但要注意成本是持續(xù)的CPU時(shí)間片消耗。我在項(xiàng)目里通常把4KB作為一個(gè)參考分割線因?yàn)?KB正好是常見內(nèi)存頁大小跨頁拷貝涉及TLB翻譯后備緩沖器重載CPU拷貝性能會(huì)有明顯波動(dòng)。這時(shí)候DMA引擎通??梢宰龈玫目偩€調(diào)度穩(wěn)定性表現(xiàn)更好。3.2 第二步確認(rèn)源/目的地址的對齊情況對齊是NEON能否發(fā)揮威力的分水嶺也是DMA能否高效傳輸?shù)那疤釛l件。NEON的vld1q_u8這類指令要求地址按照向量寬度對齊16字節(jié)對齊如果源地址或目的地址沒有對齊要么使用非對齊加載指令性能會(huì)打折要么先做對齊預(yù)處理增加代碼復(fù)雜度。實(shí)際工作中我在音頻處理模塊里遇到過源地址是奇數(shù)偏移的情況當(dāng)時(shí)用NEON非對齊加載指令做了處理性能相比對齊場景下降了將近20%但依然比CPU普通拷貝快不少。DMA方面不同硬件平臺(tái)的對齊要求差異較大有些控制器要求源和目的地址按照總線寬度對齊有些要求緩沖區(qū)地址4字節(jié)對齊有的還要求傳輸長度是某個(gè)值的整數(shù)倍。設(shè)計(jì)數(shù)據(jù)緩沖結(jié)構(gòu)時(shí)在內(nèi)存分配階段就做好對齊預(yù)留是避免后續(xù)性能損失最高性價(jià)比的做法。C語言里做16字節(jié)對齊分配的方法// 動(dòng)態(tài)分配16字節(jié)對齊的內(nèi)存 uint8_t *buf NULL; posix_memalign((void **)buf, 16, buffer_size); // 或者在靜態(tài)數(shù)組上做對齊 __attribute__((aligned(16))) uint8_t buf[1024];3.3 第三步評估CPU的繁忙程度和延遲容忍度這一步需要回答兩個(gè)問題在這段拷貝發(fā)生的時(shí)刻CPU有沒有更重要的任務(wù)要做如果拷貝占用了CPU會(huì)不會(huì)導(dǎo)致其他任務(wù)超時(shí)答案如果是“有更重要的任務(wù)”或者“會(huì)導(dǎo)致超時(shí)”那就選DMA讓拷貝徹底脫離CPU。典型例子是通信協(xié)議棧的主循環(huán)里做數(shù)據(jù)轉(zhuǎn)發(fā)CPU的核心任務(wù)是解析和封裝協(xié)議如果花大段時(shí)間拷貝數(shù)據(jù)網(wǎng)絡(luò)響應(yīng)時(shí)間就會(huì)飆高觸發(fā)對端超時(shí)重傳陷入惡性循環(huán)。答案如果是“CPU有空閑算力”且“拷貝頻率不高”NEON是更好的選擇。因?yàn)镹EON的實(shí)現(xiàn)和調(diào)試成本比DMA低沒有中斷處理、沒有DMA控制器資源競爭代碼也更好維護(hù)。這里補(bǔ)充一個(gè)做實(shí)時(shí)系統(tǒng)時(shí)的經(jīng)驗(yàn)延遲敏感任務(wù)里寧可讓拷貝慢一點(diǎn)也不要讓拷貝阻塞關(guān)鍵中斷路徑。我曾經(jīng)把一個(gè)批量日志緩沖區(qū)的拷貝放在中斷底半部每次拷貝耗時(shí)約700us導(dǎo)致高頻定時(shí)器中斷被推遲系統(tǒng)產(chǎn)生了可感知的時(shí)序偏移。后來改成DMA異步搬運(yùn)日志落盤稍慢了幾毫秒但系統(tǒng)時(shí)序完全恢復(fù)穩(wěn)定。3.4 第四步確認(rèn)硬件平臺(tái)支持情況這一步?jīng)Q定上面三步的結(jié)論能不能落地。如果平臺(tái)有DMA控制器且驅(qū)動(dòng)完善大多數(shù)主流MCU和SoC都具備DMA方案可行。要注意DMA通道數(shù)量是否夠用多個(gè)外設(shè)共用DMA通道時(shí)的仲裁策略以及DMA描述符是否支持鏈表/環(huán)形緩沖模式。NEON則要確認(rèn)CPU架構(gòu)是否支持。Cortex-M系列除部分Cortex-M7/M33/M55/M85等帶DSP/SIMD擴(kuò)展的型號(hào)多數(shù)不支持完整NEONCortex-A系列基本都支持。如果是RISC-V平臺(tái)則需要看是否支持V擴(kuò)展向量指令兼容性需要單獨(dú)驗(yàn)證。4. 實(shí)操環(huán)節(jié)三種拷貝方式的典型實(shí)現(xiàn)與性能實(shí)測4.1 CPU普通拷貝的實(shí)現(xiàn)與性能基準(zhǔn)作為基準(zhǔn)方案直接用標(biāo)準(zhǔn)庫memcpy。注意不同編譯器的memcpy實(shí)現(xiàn)優(yōu)化程度差異很大GCC在-O2以上會(huì)把memcpy內(nèi)聯(lián)成優(yōu)化的加載存儲(chǔ)序列但有些場景下比如拷貝長度是編譯期未知變量時(shí)memcpy會(huì)退化為調(diào)用庫函數(shù)性能取決于庫的實(shí)現(xiàn)質(zhì)量。測試代碼非常簡單#include stdio.h #include string.h #include time.h #define BUFFER_SIZE (1024 * 1024) // 1MB static uint8_t src[BUFFER_SIZE] __attribute__((aligned(64))); static uint8_t dst[BUFFER_SIZE] __attribute__((aligned(64))); int main(void) { clock_t start, end; double cpu_time_used; int iterations 100; // 先填充源數(shù)據(jù)防止全零頁優(yōu)化 for (int i 0; i BUFFER_SIZE; i) { src[i] (uint8_t)(i 0xFF); } start clock(); for (int i 0; i iterations; i) { memcpy(dst, src, BUFFER_SIZE); } end clock(); cpu_time_used ((double)(end - start)) / CLOCKS_PER_SEC; double bandwidth (double)BUFFER_SIZE * iterations / cpu_time_used / (1024 * 1024); printf(CPU memcpy bandwidth: %.2f MB/s\n, bandwidth); return 0; }在Cortex-A53、主頻1.2GHz的平臺(tái)上實(shí)測帶Cache的1MB連續(xù)拷貝帶寬約在600~900MB/s之間。如果數(shù)據(jù)量超過Cache容量且源和目的地址都未命中Cache帶寬會(huì)掉到200~400MB/s。這個(gè)數(shù)字就是后續(xù)對比的基準(zhǔn)線。4.2 NEON優(yōu)化的實(shí)用寫法NEON優(yōu)化的核心思路就四個(gè)字讀寬寫寬。盡量一條指令處理更多字節(jié)減少指令總數(shù)和總線事務(wù)數(shù)。下面是一個(gè)經(jīng)典的NEON內(nèi)存拷貝實(shí)現(xiàn)采用64字節(jié)塊處理配合預(yù)取和循環(huán)展開#include arm_neon.h void neon_memcpy_64(uint8_t *dst, const uint8_t *src, size_t size) { // 處理16字節(jié)對齊的主體塊步長64字節(jié) size_t aligned_size size ~(size_t)63; for (size_t i 0; i aligned_size; i 64) { // 預(yù)取下一輪數(shù)據(jù)到Cache隱藏內(nèi)存延遲 __builtin_prefetch(src i 256); // 一次加載64字節(jié)4個(gè)128位向量 uint8x16_t v0 vld1q_u8(src i); uint8x16_t v1 vld1q_u8(src i 16); uint8x16_t v2 vld1q_u8(src i 32); uint8x16_t v3 vld1q_u8(src i 48); // 一次存儲(chǔ)64字節(jié) vst1q_u8(dst i, v0); vst1q_u8(dst i 16, v1); vst1q_u8(dst i 32, v2); vst1q_u8(dst i 48, v3); } // 處理尾部不足64字節(jié)的數(shù)據(jù) for (size_t i aligned_size; i size; i) { dst[i] src[i]; } }這段代碼有三個(gè)關(guān)鍵點(diǎn)需要注意第一__builtin_prefetch是GCC的預(yù)取內(nèi)建函數(shù)參數(shù)是預(yù)取地址和偏移量。預(yù)取的距離需要根據(jù)內(nèi)存延遲和Cache命中情況調(diào)整太近了沒效果太遠(yuǎn)了可能把還沒用到的數(shù)據(jù)擠出去一般取256字節(jié)到1024字節(jié)之間比較安全。第二循環(huán)展開的層數(shù)不是越多越好。展開4路每次處理64字節(jié)通常是比較好的平衡點(diǎn)這個(gè)平臺(tái)上展開8路每次處理128字節(jié)可能因?yàn)榧拇嫫鲏毫^大導(dǎo)致編譯器Spill寄存器溢出到內(nèi)存反而性能下降。建議實(shí)測不同展開層數(shù)選最優(yōu)值。第三NEON版本代碼編譯時(shí)需要注意開啟對應(yīng)架構(gòu)優(yōu)化選項(xiàng)。GCC需要指定-mfpuneon和適當(dāng)?shù)?mfloat-abi選項(xiàng)AArch64下一般直接默認(rèn)啟用arm-linux-gnueabihf-gcc -O2 -mfpuneon -mfloat-abihard -o neon_test neon_test.c在同平臺(tái)實(shí)測上述64字節(jié)塊NEON拷貝的性能大約是Cache內(nèi)拷貝帶寬可達(dá)1.5~2GB/s超過CPU普通拷貝兩倍以上Cache外的內(nèi)存拷貝帶寬約600~900MB/s比CPU普通拷貝也有明顯提升。NEON的核心價(jià)值在于把同一條內(nèi)存帶寬曲線上的CPU指令開銷降下來了。4.3 DMA配置的完整流程用STM32系列舉例使用DMA做內(nèi)存到內(nèi)存?zhèn)鬏數(shù)臉?biāo)準(zhǔn)流程// 假設(shè)使用DMA1 Channel1做mem-to-mem傳輸 void dma_memcpy_init(void) { RCC_AHBPeriphClockCmd(RCC_AHBPeriph_DMA1, ENABLE); DMA_InitTypeDef DMA_InitStructure; DMA_InitStructure.DMA_PeripheralBaseAddr (uint32_t)src; DMA_InitStructure.DMA_MemoryBaseAddr (uint32_t)dst; DMA_InitStructure.DMA_DIR DMA_DIR_PeripheralSRC; // 外設(shè)作為源這里是內(nèi)存 DMA_InitStructure.DMA_BufferSize BUFFER_SIZE; // 傳輸字節(jié)數(shù) DMA_InitStructure.DMA_PeripheralInc DMA_PeripheralInc_Enable; // 源地址遞增 DMA_InitStructure.DMA_MemoryInc DMA_MemoryInc_Enable; // 目的地址遞增 DMA_InitStructure.DMA_PeripheralDataSize DMA_PeripheralDataSize_Word; // 32位 DMA_InitStructure.DMA_MemoryDataSize DMA_MemoryDataSize_Word; DMA_InitStructure.DMA_Mode DMA_Mode_Normal; // 單次傳輸模式 DMA_InitStructure.DMA_Priority DMA_Priority_High; DMA_InitStructure.DMA_M2M DMA_M2M_Enable; // 內(nèi)存到內(nèi)存模式 DMA_Init(DMA1_Channel1, DMA_InitStructure); // 使能傳輸完成中斷 DMA_ITConfig(DMA1_Channel1, DMA_IT_TC, ENABLE); // 注冊中斷服務(wù)函數(shù)NVIC配置略 NVIC_InitTypeDef NVIC_InitStructure; NVIC_InitStructure.NVIC_IRQChannel DMA1_Channel1_IRQn; NVIC_InitStructure.NVIC_IRQChannelPreemptionPriority 0; NVIC_InitStructure.NVIC_IRQChannelSubPriority 0; NVIC_InitStructure.NVIC_IRQChannelCmd ENABLE; NVIC_Init(NVIC_InitStructure); } void dma_memcpy_start(uint32_t src_addr, uint32_t dst_addr, uint32_t size) { // 重新配置源/目的地址和長度很多MCU需要先禁用DMA才能改配置 DMA_Cmd(DMA1_Channel1, DISABLE); DMA1_Channel1-CPAR src_addr; DMA1_Channel1-CMAR dst_addr; DMA1_Channel1-CNDTR size; DMA_Cmd(DMA1_Channel1, ENABLE); } // 中斷服務(wù)函數(shù) void DMA1_Channel1_IRQHandler(void) { if (DMA_GetITStatus(DMA1_Channel1, DMA_IT_TC)) { DMA_ClearITPendingBit(DMA1_Channel1, DMA_IT_TC); transfer_complete_flag 1; // 通知業(yè)務(wù)代碼 } }DMA方案在同等平臺(tái)實(shí)測1MB數(shù)據(jù)拷貝帶寬可以達(dá)到與NEON相近甚至略高的水平。最關(guān)鍵的區(qū)別是整個(gè)傳輸過程中CPU可以完全退出去做其他事情。我在日志系統(tǒng)里把SPI Flash頁寫入的數(shù)據(jù)緩沖搬運(yùn)交給DMACPU利用率直接降到了接近0%。4.4 三種方式的實(shí)測數(shù)據(jù)對比在同一個(gè)Cortex-A53平臺(tái)1.2GHz32KB L1 Cache256KB L2 CacheDDR3 800MHz上用100次拷貝取平均值拷貝大小CPU memcpyNEON優(yōu)化DMA64B約25ns約30ns配置開銷約100ns以上不劃算1KB約130ns約95ns配置啟動(dòng)約2us明顯慢16KB約3us約1.5us約4us含配置開銷不劃算256KB約120us約55us約30us勝出1MB約620us約280us約150us勝出明顯注意以上數(shù)據(jù)只反映該特定平臺(tái)的情況具體數(shù)值會(huì)因主頻、Cache大小、總線架構(gòu)和DMA控制器性能不同而變化。但趨勢是一致的——數(shù)據(jù)量越大DMA相對優(yōu)勢越明顯數(shù)據(jù)量越小CPU直接拷貝的延遲優(yōu)勢越強(qiáng)NEON始終卡在中間位置對CPU占用敏感度是它的分水嶺。5. 混合使用與進(jìn)階優(yōu)化策略5.1 雙緩沖機(jī)制讓DMA永遠(yuǎn)不空等做周期性數(shù)據(jù)采集時(shí)只用一塊緩沖區(qū)DMA搬運(yùn)期間CPU必須要等搬運(yùn)完成才能處理數(shù)據(jù)兩個(gè)環(huán)節(jié)是串行的白白浪費(fèi)了DMA解放CPU的優(yōu)勢。雙緩沖的思路是準(zhǔn)備兩塊緩沖區(qū)。DMA在往緩沖區(qū)A搬運(yùn)數(shù)據(jù)的同時(shí)CPU在處理緩沖區(qū)B里的上一幀數(shù)據(jù)。DMA搬完A之后自動(dòng)切換到BCPU處理完B之后等DMA切回A。這樣數(shù)據(jù)采集和處理像流水線一樣并行進(jìn)行整體吞吐量幾乎可以翻倍。實(shí)現(xiàn)上可以借助DMA控制器的雙緩沖特性很多DMA支持自動(dòng)翻轉(zhuǎn)兩個(gè)緩沖區(qū)的地址或者使用DMA傳輸完成中斷在軟件層面切換緩沖區(qū)指針// 雙緩沖結(jié)構(gòu) static uint8_t buffer_a[FRAME_SIZE] __attribute__((aligned(16))); static uint8_t buffer_b[FRAME_SIZE] __attribute__((aligned(16))); static uint8_t *current_dma_buffer buffer_a; static uint8_t *current_process_buffer buffer_b; // DMA完成中斷里交換當(dāng)前緩沖區(qū) void dma_complete_isr(void) { uint8_t *tmp current_dma_buffer; current_dma_buffer current_process_buffer; current_process_buffer tmp; // 重新啟動(dòng)DMA把下一幀數(shù)據(jù)搬進(jìn)新緩沖區(qū) dma_memcpy_start(peripheral_addr, (uint32_t)current_dma_buffer, FRAME_SIZE); }這里有一個(gè)容易踩的坑CPU正在處理current_process_buffer時(shí)千萬不能讓DMA往同一塊地址寫數(shù)據(jù)。否則會(huì)出現(xiàn)數(shù)據(jù)競爭輕則數(shù)據(jù)錯(cuò)亂重則程序崩潰。解決辦法是嚴(yán)格執(zhí)行上面代碼里的緩沖區(qū)交換邏輯保證DMA寫入的永遠(yuǎn)是CPU當(dāng)前不在處理的那塊緩沖區(qū)。5.2 按需選擇同一條代碼路徑里做大小分支很多場景下數(shù)據(jù)大小不是固定的比如網(wǎng)絡(luò)協(xié)議棧里不同包的大小差別很大。這時(shí)候不需要全局只選一種方案可以做一個(gè)簡單的大小判定小數(shù)據(jù)走CPU拷貝大數(shù)據(jù)走DMA或NEONvoid smart_copy(uint8_t *dst, const uint8_t *src, size_t size) { if (size 4096) { // 小數(shù)據(jù)直接用CPU memcpy延遲最低 memcpy(dst, src, size); } else if (dma_available cpu_busy) { // 大數(shù)據(jù)且CPU繁忙用DMA異步傳輸 dma_memcpy_start_async((uint32_t)src, (uint32_t)dst, size); } else { // 大數(shù)據(jù)但CPU有空閑用NEON提高效率 neon_memcpy_64(dst, src, size); } }這種混合策略的實(shí)際收益非??捎^。我在一個(gè)網(wǎng)關(guān)項(xiàng)目的轉(zhuǎn)發(fā)路徑上用了這個(gè)方式小包延遲沒有惡化大包吞吐量提升明顯CPU占用率還降了算是“三全其美”的做法。但要注意分支判斷本身也有開銷判定條件要盡量簡化避免引入額外的性能損耗。5.3 Cache一致性DMA方案最容易忽略的深坑DMA搬運(yùn)數(shù)據(jù)不經(jīng)過CPU所以它更新的內(nèi)存內(nèi)容和CPU Cache里的內(nèi)容可能不一致。如果CPU之前讀過或?qū)戇^某塊內(nèi)存Cache里有一份副本DMA把新數(shù)據(jù)寫進(jìn)了同一塊物理內(nèi)存CPU下次讀的時(shí)候可能命中的還是Cache里的舊數(shù)據(jù)。這在高性能平臺(tái)上是災(zāi)難級(jí)的Bug。表現(xiàn)為DMA中斷明明觸發(fā)了但CPU讀到的還是舊數(shù)據(jù)或者CPU寫的數(shù)據(jù)丟了一部分。解決思路一般有三個(gè)第一在DMA啟動(dòng)前做Cache Clean操作確保CPU寫入的數(shù)據(jù)全部刷到內(nèi)存在DMA完成后做Cache Invalidate操作讓Cache里的舊數(shù)據(jù)作廢// DMA讀取前清理Cache把CPU寫的數(shù)據(jù)同步到內(nèi)存 clean_dcache_range((uint32_t)src, size); // DMA寫入后作廢Cache確保CPU讀到新數(shù)據(jù) invalidate_dcache_range((uint32_t)dst, size);這兩個(gè)函數(shù)的API在不同平臺(tái)上名字和參數(shù)格式不同Linux下可以用dma_map_single、dma_unmap_single等標(biāo)準(zhǔn)API裸機(jī)環(huán)境下需要查芯片手冊調(diào)用對應(yīng)的Cache維護(hù)函數(shù)。第二讓DMA操作的緩沖區(qū)使用不帶Cache的內(nèi)存屬性即在頁表項(xiàng)里把該內(nèi)存區(qū)域標(biāo)記為“非緩存”或“設(shè)備內(nèi)存”。代價(jià)是該區(qū)域的讀寫性能會(huì)下降因?yàn)槊看味贾苯釉L問內(nèi)存。第三使用DMA引擎提供的硬件一致性機(jī)制如果SoC支持“IO一致”或“硬件一致”特性可以不做Cache維護(hù)操作但需要確認(rèn)平臺(tái)手冊并非所有平臺(tái)都支持。6. 常見問題與排查技巧實(shí)錄6.1 DMA傳輸偶爾丟失數(shù)據(jù)這個(gè)問題的典型原因是傳輸長度或地址配置出錯(cuò)。排查時(shí)先確認(rèn)DMA配置的源地址、目的地址和傳輸長度是否符合硬件要求特別是源和目的地址的遞增設(shè)置是否正確。很多時(shí)候“丟數(shù)據(jù)”其實(shí)是地址配置成了固定模式數(shù)據(jù)互相覆蓋了。還有一種非常隱蔽的原因DMA傳輸完成中斷標(biāo)志位的清除順序不當(dāng)。有些MCU要求在讀取狀態(tài)標(biāo)志后再清除標(biāo)志如果順序反了中斷標(biāo)志可能被誤清除導(dǎo)致該次傳輸?shù)耐瓿墒录G失。我在調(diào)試串口DMA接收時(shí)遇到過類似情況解決方式是確認(rèn)外設(shè)的DMA請求標(biāo)志在每次傳輸后確實(shí)被硬件清除如果使用中斷方式在中斷里先讀狀態(tài)再清標(biāo)志如果是循環(huán)模式Circular Mode注意設(shè)置合適的水位中斷閾值防止數(shù)據(jù)覆蓋。6.2 NEON代碼編譯后反而不如普通拷貝快先檢查內(nèi)存對齊。前面反復(fù)提過NEON加載指令在非對齊地址上性能會(huì)大幅下降。解決方式有兩個(gè)一是用vld1q_u8這類非對齊友好的指令二是確保緩沖區(qū)分配時(shí)做16字節(jié)對齊。其次是檢查編譯優(yōu)化選項(xiàng)。如果編譯時(shí)沒有開-O2或更高的優(yōu)化級(jí)別NEON內(nèi)建函數(shù)可能沒有被有效調(diào)度和優(yōu)化生成的低效匯編可能比普通拷貝還慢。我在測試時(shí)遇到過GCC開了-O0后NEON比memcpy還慢將近5倍的情況開了-O2之后才反超。另外注意NEON指令在數(shù)據(jù)量小的時(shí)候優(yōu)勢不顯著。如果你的數(shù)據(jù)只有幾百字節(jié)NEON的前期準(zhǔn)備開銷函數(shù)調(diào)用、循環(huán)初始化、尾部處理可能抵消掉指令并行帶來的收益這種情況下直接memcpy反而更簡單高效。6.3 如何判斷“CPU被拷貝拖慢”了最直接的手段是看任務(wù)耗時(shí)統(tǒng)計(jì)。在拷貝函數(shù)前后打時(shí)間戳計(jì)算每次拷貝的耗時(shí)和總CPU時(shí)間占比。如果發(fā)現(xiàn)拷貝耗時(shí)占比超過20%且數(shù)據(jù)量還在不斷增長就必須考慮用DMA替換了。另一個(gè)判斷辦法是觀察系統(tǒng)整體響應(yīng)性。比如通信系統(tǒng)里如果處理一個(gè)數(shù)據(jù)包的延遲明顯波動(dòng)尤其在數(shù)據(jù)量大的時(shí)候抖動(dòng)更嚴(yán)重很可能就是大塊CPU拷貝阻塞了主循環(huán)。這時(shí)候用性能分析工具perf、Tracealyzer、SEGGER SystemView等確認(rèn)熱點(diǎn)函數(shù)看memcpy或copy_from_user等調(diào)用占比即可驗(yàn)證。我自己常用的一個(gè)經(jīng)驗(yàn)是當(dāng)選型不確定時(shí)先用NEON快速頂上因?yàn)樗恍枰募軜?gòu)只需改一個(gè)函數(shù)實(shí)現(xiàn)然后再在下一個(gè)版本迭代里根據(jù)CPU Profiling數(shù)據(jù)決定要不要引入DMA。這樣風(fēng)險(xiǎn)可控不會(huì)一上來就動(dòng)硬件配置和中斷架構(gòu)。7. 按需選型的最終決策表判斷條件推薦方案核心原因數(shù)據(jù)量 4KB偶爾拷貝CPU memcpy延遲最低實(shí)現(xiàn)最簡單數(shù)據(jù)量 4KB高頻拷貝每秒百次以上NEON壓縮指令開銷降低CPU負(fù)載數(shù)據(jù)量 4KB ~ 64KBCPU有余量NEON比DMA配置簡單性能足夠數(shù)據(jù)量 4KB ~ 64KBCPU繁忙DMA釋放CPU時(shí)間片數(shù)據(jù)量 64KB周期性拷貝DMA吞吐量高且不占CPU緩存敏感場景實(shí)時(shí)性要求高DMA 雙緩沖避免大塊拷貝阻塞關(guān)鍵路徑從實(shí)測數(shù)據(jù)和我這些年的經(jīng)驗(yàn)來看8成以上的場景其實(shí)用NEON就夠用且最優(yōu)DMA的主要價(jià)值在于“非阻塞”而不是“最快”。很多項(xiàng)目引入DMA是為了讓CPU在等待數(shù)據(jù)搬移的這段時(shí)間里去做協(xié)議處理或響應(yīng)IO事件這是NEON無法替代的。但如果你的系統(tǒng)CPU資源非常充裕、任務(wù)也不多那繼續(xù)用簡單的memcpy也沒有什么問題。性能優(yōu)化的最高原則永遠(yuǎn)是不優(yōu)化沒問題的地方。我在實(shí)際項(xiàng)目中對三種方式的取舍也經(jīng)歷了幾個(gè)階段從一開始只會(huì)memcpy到項(xiàng)目緊迫時(shí)臨時(shí)加NEON加速再到系統(tǒng)復(fù)雜到需要DMA才能保證實(shí)時(shí)性每一步都是被逼出來的但也正好把這三條路的優(yōu)缺點(diǎn)都摸透了。這些經(jīng)驗(yàn)濃縮成一句話就是先量數(shù)據(jù)再看CPU最后決定要不要?jiǎng)覦MA。希望這篇文章能幫你少走一些我曾經(jīng)走過的彎路。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
夜夜欧美| 丝袜六区| 免费看黄片现成| 在线免费试看60秒| 中文字幕视频2区| 高潮毛片无遮挡高清免费| 91中出在线| 歐美一級亂黃99在綫精品| 综合自拍| 国内偷自视频区视频综合| 四虎av在线| 3d成人精品一区二区| 在线播放欧洲免费av| 美女大乳久久久久久久女人18| 国产免费操逼| 国产丝袜欧美在线视频| 青女偷拍网| 操操操操网黑人| 99热97| 日本不卡高清视频| 国产一区二区三区高清视频| 97久久超碰日韩精品| 97色妞| 久久久一热在线播放| 黄色一级视| 日本中文字幕一区| 久操 高清| 国产精品色色| 极品白嫩美女白浆成人福利在线看| 精品蜜乳AV免费观看| 丰满欧美放荡少妇在线| 五月天精品| 亚洲精品1区| 97爱亚洲综合色| 97天天爽| 亚欧精品久久久久久久久久久| 黑人操一区二区| 日本性爱欧美性爱| 国产 日韩,欧美 自拍| 欧美96在线|欧| 色臀aV| 乱伦1色页| 91天天看| …亚洲黄色厕厕女女在线播…| 精品国产综合久久福利,热99这里有精品综合久久,99热这里只有免费国产精品,精 | 久久综合激情| 欧美日韩另类在线| 久草成人影片| 黄久久| 国产自产91区13区| 欧美78p| 亚洲操逼网| 欧美成人性爱视频免费观看| 亚洲中文一区二区三区| 伊人久久综合影院| 国产精品一区二区亚洲人成毛片| 日韩一级二级三级免费看完整版| 亚洲啪啪综合?v一区综合精品区| 五十路一区无码| 91操熟女视频| 色九久| 久热这里只有精品9| 国产9熟妇视频网站| 国产无码一二三区| 干婷婷综合网| 久久五月视频| 六月丁丁香| 国产成人免费观看在线视频| 亚洲一区二区性爱电影| 5278欧美一区二区三区| 香蕉婷婷| 少妇超碰在线| 九九视品黄色| 色鬼在线综合| 亚州国产成人精品女人久久| 中文字幕国产| 偷拍 亚洲 欧美| 中文字幕在线免费观看 | 思思99热| 看日韩美女二区三区免费操逼视频 | 婷婷中文网| 日本色色的视频| 亚洲精品美女久久久久久久久| 亚洲一区二区精品福利| 五月色网| 麻豆精品久久久久久久| 精品人妻1237| 亚州综合图片| 日韩无码第3页| 夜夜嗨视频| 国产亚洲福利第一页丝袜| 国产亚洲色婷婷久久99精品91 - 百度| 欧美亚洲今日在线| 亚洲不卡三级手机播放| 亚洲精品xxx| 亚洲乱码国产乱码精网站| 亚洲色图殴美色图激情乱伦| 日韩高潮一区| 欧美一区二区三区大综合| WWW.加勒比人妻一区不卡.com| av麻豆啪啪| 久久精品高清无码一区| 强乱老妇中文字幕| 亚洲男人久久综合天堂| 日韩人妻免费精品| 色狠狠综合| 校园春色制服丝袜中文字亚洲 | 国产精品久久久久亚洲av| 极品美女福利在线观看| 丁香婷婷色五月| 久都青青视频| 伊人久久亚洲中文字幕不卡| 欧美综合1性辶| 91亚洲色图| 国产一区二区三区免费视频在性观看 | 亚洲AV免费在线| 青草青青久久久久久国产| 美女大乳久久久久久久女人18| 韩日自拍| 亚洲综合97| 亚洲欧美日韩免费电影| 五月天婷婷激情| 宗合情欲网| 夜夜嗨免费视频| 啊啊啊啊啊啊啊啊视频| 在线色导航| 在线国产探花| 久日91在线| 久久精品国产97欧美精品亚洲| 日日爱99| 国产精品久久久久久片| 丝袜内射| 国际精品久久久| 超碰精品国产无码| 激情四射五月天| 亚洲国产综合久久天堂| 台湾佬中文娱乐网久久久久久久久久com | 性爱视频无打码在线观看| 欧美日韩第一页| 校园春色欧美色图| 亚洲高清欧美总合| 中文字幕一区二区韩| 性爱久久| 超碰久久网| 精品人妻一区二区免费蜜桃视频| 日本性爱网址| 78p欧美| 亚州欧美在线| 黄色视频特级毛片| 色女综合| 78超碰| 草草网站影院白丝内射| 久都青青视频| 99re视频在线播放青草| 久久久久国产精品喷潮免费观看臀 | 一区二区娱乐网站| 91N综合在线| 国产精品久久久久久久久久久久久久| 嫩草影院在线观看精品| 丝袜综合| 97久久久| 欧美亚综合色图| 四虎影视永久在线观看精品免费网站| 伦激情人妻另类人妻| 亚洲麻豆精品二区三区| 天天天操天天天爱| 欧美人与性动交a美精品| 97亚洲国产影视| 99999亚洲另类| 中文字幕一区二区三区高清| 自拍丝袜美腿人妻| 亚州一区二区| 色999亚洲人成色| 亚洲天天精品| 狼狼色丁香久久婷婷综合五月| 97蜜桃综合| 狠狠躁伊人中文字幕| 亚洲女毛多水多21P| 中文字幕人妻色偷偷久久皮| 99无码| 我爱大香蕉| 久久女女| 日韩av一级黄片| 欧美青青视频| 密乳AV免费观看| 超碰 另类 欧美 | 亚洲欧美日产国产91毛片| 91综合网在线| 精品超碰国产| 清纯唯美亚洲另类| 超碰91在线| 伊人在线大香蕉视频久久| 国产大陆天天艹| 亚洲三级网址久久最新| 欧美精品久久久久久久丰满| 黄色二级片网站| 男人天堂网站| 国产人伦精品一区二区三区 | 人妻精品一区二区三区| 狠狠五月天| 久久大香蕉97| 婷婷色色网| 日本一二三免费久久| 日本国产成人亚洲精品无码| 青青草原伊人网| 97人人模人人爽人人| 色香网| 日本理论在线| 欧美成人贴图| 99久久综合| 国产一区在线看| 超91综合网| 91精品老女人| 60秒试看最爽10分钟网站| 超碰97人妻免费在线| 99国产精品久久久久久久成人热 | 91美女視頻| 久久激情亚洲精品无码?V| 国产成人精品一区| 天美麻花大全视频| 国产精品爆乳懂色蜜乳| 久都青青视频| 欧美精品69性爱| 91九色丨国产丨爆乳| 青娱乐福利99| 欧美中字二区| 手机在线播放国产福利| 中文字幕av片| 日韩另类色图| 色哟哟AⅤ| 伊人伊人LD| 在线观看国产黄色| 亚洲色电影在线| 亚洲天堂东京热| 久久草草亚洲蜜桃臀| 亚洲AV资源| 97人人夜夜精品视频| 亚洲日韩少妇一道本视频| 免费簧片在线观看| 精品人妻一区二区三区不卡断| 加勒比大香蕉视频在线| 国产午夜精品理论片一二三区区| 九一精品牛牛一区二区| 人人看人人摸人人色| 99热婷婷一区二区三| 福利风月五月天影院| 亚洲精品尤物yw在线影院| 亚洲偷拍欧美激情| 久久婷婷五月天| 中文字幕丰满子伦无码专区在线视频最新| 精国久久一区二区三区98| 99热欧美| 久久99国产综合精品女同| 欧洲在线性爱视频| 蜜桃臀久久| 久久久九97| 人妻啪| 校园春色美腿丝袜| 精彩视频日韩| 操逼视频亚洲| 福利视频香蕉免费一区二区在线| 91精品久久久久久77777| 亚洲精品99| 成人无码在线视频网站| 亚洲玖玖爱| 色五月婷婷麻豆在| 日本成熟少妇A∨网站| 91丝袜在线视频| 性爱久久| 日逼国产| 凹凸视频在线一区二区| 夜夜操夜夜高潮夜夜爽国产精品区| 精品区9| 免费啪啪av| 97鸡把在线视频| 亚洲免费97免费| 激情综合色| 国产亚洲精品无码三区| 久久超碰com| 欧美国产成人在线| 丁香色婷婷| 国产成人精品必看| 国产精品不卡少妇白| 草伊人高潮喷水超碰| 蜜乳av首页| 国产精品久久久久久久电影渣男| 78m啪啪啪| 夜草欧美| 东京太热久久久| 成人性爱电影网| 久久透逼视频| 91人人操| 91蜜桃传媒精品久久久一区二区| 久久精品中文| 狠狠狠一区二区三区| 日韩不卡a级视频专区| 人人看人人插| 国产精品另类| 黑人粗大V S日韩女优视频| 国产极品999| 狠狠色婷婷777| 免费观看的黄色的网站| 日本成人免费一区二区三区| 97国伦国色| 色爱国产| 亚洲αv一区二区三区| aaa亚无码专区| 国产97av| 99在线精品观看视频中文| 综合天天网| 蜜臀久久99精品久久久久久久久| 不卡啪啪视频| 亚洲 欧美 手机在线观看| 国产视频一区二区三区在线免费观看| 精品高潮| 久夜操| 肉丝中文无码高清| 伊人网在线视频| 国产青视频| 日韩99999色| 大香蕉亚洲中文| 一区二区视频在线播放| 激情网色| 88在线一区二区三区| 中文字幕久久精视频久久大全| 荡小穴在线观看| 五月婷婷六月丁香| 另类天堂| 色99视频| 伊人久久艹| 91成人久久| 97在线观看播放视频| 成全动漫视频观看免费下载| 中文一区二区三区影院| 久操电影| 日本影视久久免费| 插入逼91| 日韩性爱啪啪视频| а√天堂资源官网在线资源| 久久久无码视频| 99热伊人| 99re这里只有精品9| 四虎AV无码| 亚洲午夜av| 超碰91在线| AAA久久| A片三级无码| 精品在线观看视频在线| 国产成人精品日本视频| 日韩av乱伦| 久久xxxx| 中文字幕一区av| 日本三级韩三级99久久| 嗯嗯啊啊啊好舒服| 99热这里只有精| 玖玖爱综合| 国产91精品久久久久久久网曝门| 亚洲自拍一区夜夜操| 国产精品视频| 久久久久久少妇| 欧美色综合图片| 色哟哟精品1精品2| 你操综合| 色狠狠综合噜一二三区| 91久久伊人婷婷青青草| 夜夜 中文视频rt| 色五月激情AV在线| 蜜桃网熟妇| 日本大香蕉综合网红本杳社区| 久久大香蕉97| 日本一区二区中文字幕久久| 久久国产免费激情视频| 五月天黄色激情视频| 国产亚洲国产超碰| 欧美天天拍| 九九热这里只有在线精品视 伊人草 成人菠萝蜜视频在线观看 | 欧美A√综合网 | 免费看欧美美女黄色大片| 日本亚洲熟女视频| 亚洲有码 欧美精品| 人人澡人人爽人人精品| 精品国产国产AV| 大香蕉日亚洲日本亚大| 亚洲欧美清纯| 操国产高清| 另类TS人妖一区二区三区 | 日本东京热加勒比久久| 久操视频资源站公开| 九九伊人网| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 激情看片网站| 天天操av懂色| 丁香六月东京热| 九九综合久久| 亚洲成人色情五月天丁香花| 东京男人天堂| 亚洲欧美日韩免费观看| 最新av中文字幕高清| 密乳无码| 狠狠久久亚洲欧美专区| 日韩精品电影| 欧美综合第一页| 天天干天天燥| 美女刺激久久国产欧美| 婷婷美人网| 激情婷婷丁香网| 国产一级内射高清视频| 性爱乱伦一区| 日韩97超碰中文字幕| 久久爱超碰网| 精品美女少妇一区二区| 激情五月综合开心五月| 成片免费观看视频大全| 人妻人人澡人人爽人人| 精品传媒在线一区| 欧美极品性爱天天射| Julia在线播放亚洲久久| 国产传媒美日韩av| 中文字幕成人乱码熟女精品国50| 中国一级操逼视频| 26uuu久久| 两性色网| 操香逼| 2017天天插| 成人八戒网站| 美骚妇av高清在线| 99re免费| 亚洲国产日韩欧美熟妇在线| 99在线视频播放| 超碰色老头| 99热这里只有精品地址| 丰满搜索结果 -第18页- 久久高清无码| 亚洲欧美综合网| 无码高清国产AV| 丰满少妇一区二区三区专区| 国产精品久久泡妞网站| 日韩性爱免费视频在线网站| 区一二区日韩亚洲乱码av电影| 啊啊啊啊免费视频| 国产a级午夜毛片| 欧美性爱网97| 国产又粗又大硬免费色网视频| 色色综合网站| 死我十八禁| 欧美亚洲一级在线观看| 成人AV素股で擦久久| 亚洲丝袜少妇在线| 日本中文字幕在线电影| 丁香九月激情| 人人操人人射人人干| 日韩黄片影院| 蜜桃在线观看一区二区三区| 婷婷色综合欧美日韩| 久久久久久欧美精品se一二三四| 无码人妻精品一区二区三区九九| 久久大黄片| 色哟哟的毛片| 亚洲a色| 日欧操屄视频| 久久久少妇诱惑精品视频| 国产亚洲精品无码三区| 久久99手机免费视频| 精品少妇999| 大胆91| 加勒比aⅴ| 日韩在线观看中文字幕视频| 后入福利视频| 欧美性爱中文字幕无线码| 亚洲大色堂| 超碰97人人cao| 日韩97视频!在线| 亚洲天堂男人天堂| 青青11操操操操操操操操| 亚洲 欧美 第一页| 在线只有精品| 午夜精品99久久久久传媒| 成人性交午夜免费片| 日本综合色图| 久久久91| 99啪啪视频| 国产91影院| 18一区二区三区| 日本国产欧美一区三区二区| 亚洲国产一区二区三区在线| 超碰97人妻免费在线| 色九九九| 欧美日韩色综合网| 极品色电影院| 中文自拍欧美影视| 天天操妹子| 920日本午夜免费| 在线观看中文字幕| 手机不卡视频不卡在线一二三区| 乱伦色图网址是多少| 欧美猛交黑寡妇中文字幕| 秋霞影音一区二区三区| 淫穴高潮色图| 亚州国产精品乱| 国产精品不卡av免费在线观看| 欧美高清性猛交| 影音先锋新男人| 熟女精品一区二区在线观看| 日本久久久久久久久久| 天天肏夜夜肏| 清纯唯美亚洲综合| 久久嫩草国产成人一区| 无码国产Av| 熟女91网| 美女刺激久久国产欧美| 资源新线在线天堂| 综合激情97| 蜜桃视频成a人v在线| 91精品婷婷国产综合久久| 丁香五月色| 中文一区二区三区影院| 青青草啪啪网| 两性综合网| 人妻少妇精品视频一区二区三区| 欧美有码亚洲中文字幕一区二区三区四区 | 久久鲁干| 天堂综合网| 人人摸人人干| 在线强奷到舒服的无码视频 | 久啪| 久热9| 老熟妇乱轮| 国产视频大全| 91碰碰| 熟女一区二区三区| 国内精品久久久久影院亚洲| 又大又大又大又粗爽高潮观看| 西西美女视频网| 亚洲精品无码少妇久久| 男啪女色黄无遮挡免费观看| 国产视频第2页| 色情综合网| 国产精品高清2021在线| 日日干日日摸| 欧美精品久久96人妻无码| 成人性爱电影一区二区| 人妻9117c| 99国产精品自在自在| 2020中文字幕| 小日子操bb在线看| 欧美亚洲丝袜人妻制服中文99| 久久国产精品,久久国产| 国产三区免费在线观看| 色吧91| 色香综合天天影视综合| 偷拍网站久久男女男| 日韩欧美大力操| 久操视频在线| 久草精品国产蜜臀| 精品区9| 精品成人动漫一区二区| 男人天堂欧美| 人妻人久久精品中文字幕| 伊人青青一区成人视频在线观看区| 啪一啪免费视频| 激情婷婷综合久久| 深爱伊人影院| 日本人妻天堂网站在线播放| 天美传媒婬乱| 国产嫩草精品A88AV| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 9久在线视频只有精品| 久色99999| 狠狠五月天| 国产毛片久久久久久久| 国产精品福利视频| 91亚洲狠狠色| 久久久久久久久久久久黄色 | 亚洲AV资源| 丁香婷婷久久 | 嗯嗯啊啊啊好爽| 欧美综合 站| 欧美一级三级| 精品人妻美妇91job| 国产探花日韩援交| 97国产人人| 天天影视综合色| 久久久专区| 欧美九九99久久精品| 国产精品亚洲免费| 日韩无码黄色片| 伊人久久亚洲中文字幕不卡| 99久久com免费视频′| 翔田千里av一区二区三区| 美国一区二区三区视频| 人人爱人人乐人人操| 国产精品欧美在线观看| 91中出在线| 99热国产| 97欧美色资源| 99re95| 91亚洲精品青草| 色五月婷婷五月天| 91粉嫩萝控精品福利网站_精品影音先锋国| 欧美天天干| 少妇厨房愉情理伦片bd在线观看| 青娱乐休闲视频在线观看| 欧美人妻制服| 97亚洲自在精品在线观看| 啊嗯嗯啊好大好爽| 区二区亚洲婷| 日韩中文字幕av在线播放| 日韩一999精品| 东京热激情视频一二三区| 亚洲激情网| 日本岛国黄色网址| 性做久久久久久免费观看软件| 黄色大香焦1级‘′‘| 国产第12页| 欧美一二三级精品在线| 国产美女口爆吞精视频| 日韩极品无码B| 亚洲一区日韩精品| 精品美女少妇一区二区三区| 精品亚洲俞拍视频一区| 韩国女主播青草在线| 欧美日韩电影一区二区| 日韩钢筋无码高清啾啾啾| 成人精品视频一区二区| 艾草av| 久草新免费| 1二区9| jiujiujiujingpin| 秋霞福利网| 亚洲综合 欧美| 人乳av| 欧亚 另类 久| 亚洲猛交| 天天操天天舔| 手机在线A片| 91精品国产91久久福利| 日本乱人伦片中文三区| 久久久久久久久久久免费精品| 人人操,人人插| 小说区 图片区色 综合区| 我要去看2个日本美女.com曹逼| 豆花视频操逼网址| 免费看黄视频亚洲网站| 国产区性爱在线视频秋霞豆| 91色婷婷综合久久中文字幕二区| 婷婷五月成人| 啪啪91| 2020中文字幕| 五月婷婷hd| 韩国国产欧美情侣视频在线| 2020中文字幕在线| 伦理第一页| 2024黄色视频| 欧美不卡在线一区二区| 色婷婷视频| 免费的黄片wwwwww| 国产亚洲一黄| 久久久穴999| 精品人妻伦一区二区三区久久| 九九热只有精品| 污色区网站| 欧美黑人精品在线播放| 色色五月丁香| 岛国AV一区二区电影| 嗯,啊。舔我逼| 日韩AV噜噜噜一区二区三区四区| 精品对白久久不卡| 夜夜操美女| 婷婷中文网| 97国产色综合| 性色av一区二区| 国产嫩草精品A88AV| 欧美色图色综合| 日韩亚洲国产视频| 99综合网| 性生活无遮挡纯毛片在线看| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | ,国产乱人伦精品一区二区三区| 伊人青青草久久| 99re28在线观看| 人人操人人舒服| 久久鲁干| 亚洲、日韩、综合、另类| 亚欧美综合| 欧美欧美啪啪视频| 久久性爱免费送| 日韩伦理视频| 91熟女视频网| 国产91亚洲精品一区二区三区| 国产懂色精品国产av| 99国产精品人妻人伦| 亚洲超碰AV| 久久人妻| 日韩亚洲Av人人夜夜澡人人爽| 96精品在线| 日韩欧美偷拍美女视频| 成人性交免费视屏| 欧美日韩免费性爱| 亚洲另类综合欧美| 色九九综合AV| 成人国产视频在线观看| 97任你吞精| 久久夜夜夜夜| juliaann欧美丝袜办公室| 亚洲国产奇米影视久久| 95精品在线| www久久精品| 岛国1区2区3区在线观看| 色婷婷久久| 欧洲自拍色图gif在线| 国产一国产一级毛片古装| 国产视频一区二区免费| 天天看高清麻豆| 91精品国产综合久久久蜜臀酒店| 51一区二区三区| 国产性感骚丝袜在线| 欧美 日韩第一性色| 日本操逼视频不卡直接放| 99re视频在线观看这里只有精品| 欧美大干日韩| 青青青国产手线观看视频2| www.夜夜| 91久久精品美女高潮喷水| 久久久国产av美女私房| 色嘟嘟人妻天堂网| 大香蕉2017| 亚洲天堂中文字| 口爆综合网| 99热国产精品| 在线看的av| 成人影 天天操 亚洲| 免费视频观看60秒| 日韩丰满熟妇| 男生女生啊啊啊啊| 色色毛片| 国产天美欧美| 伊人九九九| 亚洲Av无码成人精品国产| 色综合20p| 亚洲密乳AV| 人妻天天夜夜爽一区二区| 少妇高潮九九九九九九九| 日本高清_区二区三区| 青青草色情网站视频| 久久夜夜| 91国产精品熟女| 亚洲熟女人妻中文字幕一区二区| 一区在线观看中文字幕| 久久久久久久久久久久久女过产乱-少妇高潮一区二区三区喷水-成人AV | 国产精品久久久久久久黄无码| 日本大香蕉| 人妻一区二区三区视频 | 懂色AV蜜臀无码精品APP| 天天舔天天日天天射| 国产成人 综合亚洲 天堂| xxx亚洲午夜天堂| aa片毛片| 99国产天美| 色综合国产在线观看| 久久综合日韩亚洲欧美| 青娱乐淫乱1314| 人妻在线中出视频| 亚洲av性爱电影| 激情露脸爱| 91国产操逼视频| 久久超碰、| 在线观看亚洲成人精品| 啊啊啊好舒服好爽啊啊啊视频| 啪啪性爱免费视频| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 在线播放欧洲免费av| 天天天天天干夜夜夜夜夜操| 国产精品久久久久久久久久二区三区| 久久久无码av精| 国产麻豆一区二三区| 在线观看无码三级少妇| 天天综合网1| 国产精品网址| 欲色啪| 国产成人无码网站在线视频| 久久久999国产精品| 婷婷五月综合在线| 亚洲人妻久久| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 加勒比综合网| 午夜成人福利影视| 国产日韩色综合| 亚洲图片 激情小说| 精品v日韩欧美国产| 亚洲高清在线se| 十八禁视频网站| 91综合网在线| 久久的网站啊啊啊啊啊| 老熟女搡BBBB搡BBBB视频| 伦理弟一页| av婷婷色婷婷色六月| 日韩欧美天堂| 激情五月婷婷综合| 91精品导航| 超碰97精品在线| 国产精品扒开腿做爽爽爽视频| 久久综合日韩亚洲欧美| 草草影院最新网址| 超碰精品人妻狠狠干| 大香蕉婷婷| 新亚洲无码| 亚洲综合图色在线| 国产精品无码在线| 日韩欧美女求操每天更新| 啊啊啊啊一区| 岛国毛片在线观看免费| 国产精品乱码久久久久久| 国产成人网址| 人妻精品免费一二三区| 2019午夜福利视频| 大香蕉啪啪网| 综合伊人激情| 亚洲人精品久久久| 欧美日韩情色一区二区| 黄色激情电影在线观看| 97在线观看视频| 狠狠躁AV| 国产极品美女高潮无套在线观看 | 久操视频资源站公开| 亚洲男人天堂手机版| 91人妻视频| 色青青久久影视| 超碰在线人人射| 亚洲国产青青| 天天舔天天 | 少妇同性| AV无码久久久精品| 3P丝袜熟女 色综合| 在线观看十八禁| 九九视频黄色片| 97日韩欧美亚洲| 特级大荫道BBwBBwBBW| 操逼操网| 欧美性爱第1 页| 久久久久久少妇| 亚洲综合97中文网| 亚州操逼图| 啊啊啊啊操死我| 精品久久久不卡一区二区| 婷婷丁香成人| 中国AV美女| 亚洲午夜精品久久久中文影院| 91久久午夜无码鲁丝片久久人妻| 精品一区二区亚洲国产| #NAME?| 97天天综合网| 国产成人无码高清| 色综合一本| 国产精品另类| 亚洲限制级| 久久黄黄| 亚洲 一区二区 自拍| 五月丁香黄色网| 日韩AV噜噜噜一区二区三区四区| 久插综合| 亚州色图第三区| av无码精品久久久久| aaa亚无码专区| 伊人96在线| 久久熟妇五十路一区| 丁香五月电影| 乱伦AVxx| 午夜福利一区二区影院| 97Ai亚洲| 久久风骚城市| 欧美三级免费伊人| 国产剧情一区在线观看| 女同性恋久久| 素人一区二区三区日韩| 亚洲成人贴图| 偷拍99| 青青草在线视频欧美| 1024香蕉视频| 四虎影院成年人片| 小视频玖玖| 麻豆国产97在线| 热热色91| 999色欧美中文字幕| 色网1| 玖玖蜜臀资源网| 亚洲综合春色| 亚洲激情综合| 少妇滛荡视频| 日韩一区二区三区四区五区| 国产在线激情视频| 日韩综合无码一区久久92| 96久久久久久久| 亚洲 中文 欧美 日韩 在线| 91夜夜蜜桃臀1区2区3区| 99丝袜福利在线播放| 开心五月深爱五月| 欧美很很操视频| 色青青久久影视| 欧美不卡二区| 亚洲 欧美 偷拍 唯美| 69av一区二区三区| 凹凸视频在线一区二区| 97免费在线观看视频| 久久9免费视频| 国产精品第一页国产大屁股视频免费区i| 刺激精品视频| 久久超碰、| 青青草原综合久久大伊人精品| 91婷婷伊人狠人| 青青草操逼逼视频| 一区二区激情国产熟女| 人妻久久久| 99精品久久| 色情综合| 狠狠爱综合网| 啪啪91| 97色色婷婷| 女人双腿搬开让男人桶| 超碰成人最新最好看| 亚洲一欧洲中文字幕在线| 秋霞久久亚洲精品成人| 无码人妻精品一区二区中文| 狠狠久久手机视频精品| 91啦人妻| 中文字幕精品一区二| 亚洲激情在线观看一区| 熟妇的味道HD中文字幕| 亚洲激情综合另类男同| 女同女同恋久久级三级| 日韩免费在线观看不卡| 99亚洲国产精品色一区二区三区| a片在线播放| 无码直播久久久| 91午夜无码| jizzjizz欧美| 亚洲成A∨人影院在线欢看| 新婚人妻扶着粗大强行坐下| 一级性爱aaaa| 亚洲人妻av| 屌逼麻豆| 美腿色图| 大肉棒导航| 粉嫩av一区二区三区四季| 大香蕉手机在线| 日本在线伊人啪啪| 亚洲色欧美| 精品国产一区探花在线观看| 欧美日韩国产一区二区小黄片大全| 亚洲中字幕日本一区二区三区| 欧美性爱日韩高清| 最好看的中文字幕在线2018| 亚洲乱码尤物193YW| 97人人干人人操| 亚洲色天堂日韩中| 麻豆久久久久久久久丝袜| 亚洲情色在线| 国产乱码精品久久久久久| 九九av| 亚洲国产日韩精品久久久| 精品九九九九| 在线免费观看日韩一区| 黄色电影观看久久9| 一起草精品人妻| 长长久久免费视频| 蜜桃久久久久久久| 九九九九免费高| 97精品一区二区视频在线观看| 一区二区视频在看| 97精品| 性爱视频无打码在线观看| 亚州AV无码国产精品| 九九AV| 熟妇一区二区三区| 青青伊人加勒比海| 91色欧美| 性色av大全| 国产美女高潮叫床视频| 亚洲色图超碰在线| 麻豆国产av网| 色97综合中文字幕| 欧美亚洲天堂| 操逼视频亚洲| AV色天香在线| 欧美亚洲激情一二三| 猛猛干| av网站在线观看了| 久久久com| 丝袜综合色图| 久久久精品九| 黄色AV免费| 国产久久av| 另类天堂| 亚洲熟女乱熟乱熟妇综合网二区| 中日992视频| 搡老女人911熟妇老熟女| 欧美系列在线一区二区| 丰满人妻一区二区三区在线| 啊灬啊灬啊灬啊灬高潮奶出了免费视| 亚洲丝袜少妇在线| 精品毛片av一区二区| 婷婷激情五月综合| 青青草日本中文字幕| 欧美性爱一区二区三区| 欧美日韩色综合网| 六月婷婷五月丁香| 91伊人大香蕉| 天天亚洲| 日韩乱伦影音先锋| 亚洲 欧美 中文 日韩超碰| 玖玖爱伊人玖玖爱| 亚洲欧美日韩免费观看| 天天插天天操| 亚州免费啪啪视频| 亚洲AV成人在线| 在线97在线| 亚洲天堂2020| 日本操大逼| 一区二区三区四区在线不卡| 欧美综合天天| 亚洲美女自拍偷拍视频| 炮色五月| 4虎在线视频| 在线观看不卡一区二区三区| 婷婷五月影院| 国产精品一级二级在线| 亚洲日韩精品久久久久一区壹牛 | av 模特一区了| 亚洲在线网站| 另类图片五月天| 亚洲天堂日本| 精品蜜乳AV免费观看| 一区二区娱乐网站| 伊人991| 97免费视频在线观看| 老司机射| 精品视频专区| 精品欧美乱码久| 久久肏大逼| 超碰中文字幕人妻草一区| 国产精品96| 996热| 亚洲91综合| 日本三级A片网站com| 99超碰色| 91精品少妇搡搡搡| 影视综合无码少妇| 人妻精品综合中文字幕在线 | 欧美 亚洲 另类 综合| 91欧洲国产成人久久精品网站| 色区久久| 成人电影一区| 日本一区99| 今日头条成人一区二区三区四虎精品| 色汉综合| 五月激情天| 欧美淫乱视频| 亚洲最新中文字幕免费| 性色中出| 男人久久天堂| 激情AV| 少妇色欲综合网2| 国产色呦呦| 神马久久久久久久久久久久| 少妇久久久| 久久一二三四五六七八九区区区 | 久久啊啊啊| 婷婷久草| 少妇天堂| 99热91| 黑人精品欧美一区二区蜜桃| 亚洲欧美国产其他二区| 亚洲天堂电影网| AV不卡在线| 操b网站亚洲无码| 国产欧美日本亚洲精品| 国产夜夜操| 毛片久久| wwe 天天干.com| 伊人一级免费黄片| 日韩熟女精品无码专区一区二区 | 99啪啪视频| 日本熟妇浓毛hdsex| 久久久com| 亚洲图片欧美色图| 青青草原人妻| 91亚洲影视| av天堂影视中文在字幕在线中文| 97网色| 色婷婷基地| 亚洲在线91| 日韩情色视频| 天天干天天操天天操夜夜操天天操| 嫩草 人人网精品| 中文字幕天堂在线| 中文字幕视频2区| 国产高清吃奶免费视频网站| 鸥美插入视频| 亚洲一区二区久久久久| 九九九九九九成人| 人妻一区视频| 白 大 人妻 区 在线| 天天看精品动漫视频一区| 75大香蕉| 欧美性爱综合,免费| 国产精品 午夜福利| 久久久久少妇| 殴美日韩m| 人人艹亚洲| 天天草AV| 国产99 中文字幕日韩小视频| 夜夜夜爽www精品视频| 天天综合色| 99无码狠狠久久| 人人澡综合涩| 自拍偷拍 高清无码| 性色高清..……| 日本三级大片| 亚洲欧美综合| 欧美性爱一区二区三区四区| 2021久久国产综合精品青草| 啊啊啊 在线| 99无码视频| 亚洲久久久| 第四色色综合91| 亚洲一级性爱视频免费看| 高潮9999外国| 国产欧美日韩女同性恋ww喷水精品 | 97WW精品| 黄片qw| 欧美日韩人妻少妇 一区二区三区| av国产无码| 少妇久久久| 国产成人AV麻豆| 成人美女av| 噜噜噜亚洲精| 在线性黄高清免费视频| www男人天堂| 蜜臀精品1区2区| 亚洲,日韩,欧美,成人播放| 中文一区二区| 日韩啪啪啪啪啪| 国产精品久久久久久久久久梁医生| 中国的操老妇女| 中文字幕av亚洲在线| 97天天日| 美骚妇av高清在线| 日韩AV一起草| 91狠狠| 老汉网| 大香蕉av在线| 色屁屁影院www国产| 青青久久久| 精品.99999| 加勒比在线视频一区二区三区| 亚洲人妻久久| 美日韩一二三区| 92福利社视频| 精品偷拍13p欧美dodk视频| 久久αⅴ| 日韩少妇无吗| 久久超碰爱|