日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

RK3588邊緣AI視覺中零拷貝跨進(jìn)程通信的DMA-BUF實(shí)踐

RK3588邊緣AI視覺中零拷貝跨進(jìn)程通信的DMA-BUF實(shí)踐 RK3588這個(gè)芯片做邊緣AI視覺的人應(yīng)該都很熟了4顆A76加4顆A55內(nèi)置6TOPS算力的NPU還有RGA、VPU、Mali-G610 GPU接口上MIPI CSI、HDMI、PCIe一應(yīng)俱全。但芯片規(guī)格只是第一步真正讓項(xiàng)目跑起來并且跑得穩(wěn)數(shù)據(jù)通路怎么設(shè)計(jì)才是見功夫的地方。這個(gè)話題我打算接著前幾期專門聊零拷貝跨進(jìn)程通信。為什么單獨(dú)拿出來說因?yàn)槲乙娺^太多項(xiàng)目模型跑得飛快幀率卻上不去調(diào)度器一查CPU全耗在memcpy上了。RK3588上部署yolov8或者做多路RTSP實(shí)時(shí)視頻監(jiān)控?cái)?shù)據(jù)從攝像頭到NPU再到編碼器如果每個(gè)環(huán)節(jié)都拷貝一遍1080p30fps一路視頻光拷貝的帶寬開銷就有近100MB/s四路就是400MB/s。這個(gè)數(shù)字在板子上會(huì)直接體現(xiàn)為CPU占用飆升、掉幀、延遲抖動(dòng)。這篇文章把零拷貝這件事從原理到落地講透適合正在用RK3588做邊緣AI視覺、被多進(jìn)程架構(gòu)下的數(shù)據(jù)交互效率困擾的開發(fā)者。1. 為什么邊緣AI視覺里跨進(jìn)程數(shù)據(jù)通路會(huì)成為性能瓶頸1.1 一份幀數(shù)據(jù)在RK3588內(nèi)部要旅行多遠(yuǎn)先不急著上代碼我們先看清楚一個(gè)問題一份圖像數(shù)據(jù)從攝像頭進(jìn)來到最終顯示或編碼輸出在RK3588內(nèi)部到底要經(jīng)過多少個(gè)環(huán)節(jié)。典型的邊緣AI視覺鏈路是這樣的攝像頭sensor通過MIPI CSI接口輸出RAW或YUV數(shù)據(jù)進(jìn)入ISP做壞點(diǎn)校正、降噪、3A等處理ISP輸出的數(shù)據(jù)落到DDR內(nèi)存里。接著內(nèi)存里的幀要送給NPU做推理比如yolov8目標(biāo)檢測(cè)NPU算完輸出檢測(cè)框坐標(biāo)、類別、置信度這些結(jié)果通常交給CPU做后處理NMS、過濾、畫框畫完框的幀又要送給顯示控制器DRM/KMS或者硬編碼器VPU出RTSP流。在這條鏈路上數(shù)據(jù)在DDR里被多個(gè)硬件單元讀寫了多次。如果把系統(tǒng)設(shè)計(jì)成多進(jìn)程架構(gòu)——采集進(jìn)程只管采集AI進(jìn)程只管推理推流進(jìn)程只管編碼——那么每一幀圖像還要跨越進(jìn)程邊界??邕M(jìn)程意味著什么在傳統(tǒng)實(shí)現(xiàn)里就是memcpy發(fā)送方把數(shù)據(jù)從自己的用戶態(tài)緩沖區(qū)拷到內(nèi)核接收方再從內(nèi)核拷到自己的用戶態(tài)緩沖區(qū)。這里有個(gè)很多人容易忽略的細(xì)節(jié)RK3588這類SoC和普通PC不同它的NPU、VPU、RGA對(duì)內(nèi)存有各自的偏好和要求。NPU希望輸入是物理連續(xù)的VPU和RGA對(duì)地址對(duì)齊有要求GPU則需要考慮緩存一致性。這些硬件單元的內(nèi)存視圖和進(jìn)程的虛擬內(nèi)存視圖之間本身就隔著一層。如果你只是簡(jiǎn)單用memcpy做跨進(jìn)程數(shù)據(jù)交換哪怕不考慮拷貝本身的CPU開銷也繞不開還要再映射給硬件用這層麻煩。1.2 拷貝的代價(jià)帶寬、延遲、CPU占用三本賬我們來算一筆實(shí)在的賬。一路1080p分辨率、NV12格式Y(jié)UV420半平面的幀大小是 1920 × 1080 × 1.5 ≈ 3.1MB。如果30fps一秒鐘就是約93MB/s。如果系統(tǒng)里有4路攝像頭同時(shí)做AI分析就是約373MB/s。這還只是源數(shù)據(jù)的體量。實(shí)際上在普通跨進(jìn)程拷貝方案中數(shù)據(jù)往往不止拷一次。例如采集進(jìn)程從V4L2 buffer讀出一次read或mmap后的用戶態(tài)訪問發(fā)送給AI進(jìn)程時(shí)通過共享內(nèi)存/消息隊(duì)列拷貝一次AI進(jìn)程把數(shù)據(jù)整理成NPU輸入格式又拷貝一次AI進(jìn)程把結(jié)果圖像發(fā)給顯示/編碼進(jìn)程再拷貝一次這么算下來一份數(shù)據(jù)在整個(gè)生命周期里可能被拷貝3到4次。4路1080p30fps的場(chǎng)景光拷貝吞吐量就超過1GB/s這還是在RK3588雙通道LPDDR4/LPDDR5內(nèi)存帶寬還算充裕的前提下。問題的關(guān)鍵不是帶寬不夠用而是每次拷貝都意味著CPU緩存被頻繁刷掉影響其他任務(wù)的執(zhí)行效率幀延遲增加對(duì)實(shí)時(shí)性要求高的場(chǎng)景比如工業(yè)質(zhì)檢、運(yùn)動(dòng)檢測(cè)聯(lián)動(dòng)很致命額外占用DDR帶寬而NPU、GPU、VPU這些硬件單元也在搶同一份帶寬內(nèi)存占用偏高因?yàn)槊恳环輸?shù)據(jù)在多個(gè)進(jìn)程里有多個(gè)副本。我做過的實(shí)際壓測(cè)里4路1080p30fps、模型是yolov8s的情況下如果全鏈路都用memcpy方式跨進(jìn)程傳幀CPU占用率大概多出20%到35%端到端延遲增加3到8毫秒。這個(gè)損耗在demo里看不出什么但在長(zhǎng)時(shí)間運(yùn)行的工業(yè)現(xiàn)場(chǎng)累計(jì)的掉幀數(shù)和延遲抖動(dòng)會(huì)直接影響系統(tǒng)的可用性。1.3 明確邊界哪些場(chǎng)景真的需要零拷貝說了這么多我也得潑盆冷水不是所有項(xiàng)目都需要零拷貝。如果只是單路視頻、非實(shí)時(shí)后處理、CPU負(fù)載余量很大那用傳統(tǒng)的共享內(nèi)存加拷貝完全沒問題實(shí)現(xiàn)簡(jiǎn)單調(diào)試也容易。零拷貝方案會(huì)引入fd管理、生命周期同步、緩存一致性等一堆復(fù)雜度小項(xiàng)目里可能得不償失。真正需要零拷貝的場(chǎng)景有這幾個(gè)特征多路視頻并發(fā)數(shù)據(jù)吞吐量大兩三路1080p以上幀率要求高或者端到端延遲敏感多進(jìn)程架構(gòu)模塊之間職責(zé)分離長(zhǎng)時(shí)間穩(wěn)定運(yùn)行CPU占用和散熱壓力需要控制。如果你正卡在這幾個(gè)特征里那下面的內(nèi)容值得認(rèn)真看。2. 零拷貝的底層地基DMA-BUF與dma_heap的工作方式2.1 DMA-BUF不是某個(gè)驅(qū)動(dòng)而是一套共享協(xié)議聊零拷貝繞不開DMA-BUF。很多人第一次接觸這個(gè)詞是在安卓的SurfaceFlinger里覺得它是某個(gè)圖形相關(guān)的驅(qū)動(dòng)。其實(shí)DMA-BUF是Linux內(nèi)核里一套通用的緩沖區(qū)共享機(jī)制核心思路是一塊物理內(nèi)存由某個(gè)分配者創(chuàng)建關(guān)聯(lián)一個(gè)文件描述符fd其他進(jìn)程或設(shè)備拿到這個(gè)fd后通過mmap把它映射到自己的地址空間或者直接通過這個(gè)fd把內(nèi)存交給硬件DMA使用。整個(gè)過程不拷貝數(shù)據(jù)只傳遞句柄??梢赃@樣理解傳統(tǒng)拷貝是復(fù)印一份文件給對(duì)方零拷貝是把柜子的鑰匙遞給對(duì)方對(duì)方自己打開柜子取用那份文件。在RK3588的開發(fā)板上你大概率會(huì)看到這些節(jié)點(diǎn)/dev/dma_heap/system/dev/dma_heap/system-uncached/dev/dma_heap/cma有些固件里叫l(wèi)inux,cma以及Rockchip自家的 /dev/ion老固件常見dma_heap是內(nèi)核5.6之后主推的分配接口ION逐漸被淘汰。在RK3588的現(xiàn)代固件內(nèi)核5.10及以上里推薦直接使用dma_heap。2.2 RK3588上能直接拿到的內(nèi)存類型實(shí)際使用中邊緣AI視覺項(xiàng)目主要關(guān)心兩類內(nèi)存連續(xù)物理內(nèi)存CMANPU、VPU、ISP這些硬件單元做DMA時(shí)很多要求物理地址連續(xù)。CMA區(qū)域就是預(yù)留給這類用途的。dma_heap的cma heap分配出來的就是這類內(nèi)存。非連續(xù)但可DMA的內(nèi)存system heap硬件支持通過IOMMU/SMMU做分散聚合所以不需要物理連續(xù)。RK3588的NPU、RGA、VPU都有SMMU支持所以很多場(chǎng)景用system heap就夠了分配成功率更高也不容易把CMA區(qū)域耗盡。此外還有uncached和cached的區(qū)別。cached內(nèi)存對(duì)CPU訪問友好走Cache但硬件DMA操作后需要做緩存同步uncached內(nèi)存CPU訪問慢一些但不存在緩存一致性問題硬件寫完CPU直接讀就是最新數(shù)據(jù)。這塊內(nèi)存怎么分配在用戶態(tài)可以直接打開/dev/dma_heap/system-uncached發(fā)一個(gè)DMA_HEAP_IOCTL_ALLOC ioctl拿到fd。代碼大致長(zhǎng)這樣#include linux/dma-heap.h #include sys/ioctl.h #include fcntl.h #include unistd.h int alloc_dma_buf(size_t size) { int heap_fd open(/dev/dma_heap/system-uncached, O_RDWR); if (heap_fd 0) { perror(open dma_heap); return -1; } struct dma_heap_allocation_data data { .len size, .fd_flags O_CLOEXEC | O_RDWR, .heap_flags 0, }; if (ioctl(heap_fd, DMA_HEAP_IOCTL_ALLOC, data) 0) { perror(DMA_HEAP_IOCTL_ALLOC); close(heap_fd); return -1; } close(heap_fd); return data.fd; // 這就是dma-buf的fd }注意分配到的這個(gè)fd屬于某個(gè)進(jìn)程。如果另一個(gè)進(jìn)程也要用它要么通過fork繼承特權(quán)場(chǎng)景常用要么走跨進(jìn)程fd傳遞機(jī)制下面會(huì)專門講。2.3 CPU訪問DMA-BUF時(shí)那個(gè)最容易漏掉的SYNC操作拿到dma-buf的fd之后進(jìn)程可以用mmap把它映射進(jìn)自己的用戶態(tài)地址空間void *map_dma_buf(int dma_fd, size_t size) { void *addr mmap(NULL, size, PROT_READ | PROT_WRITE, MAP_SHARED, dma_fd, 0); if (addr MAP_FAILED) { perror(mmap dma_buf); return NULL; } return addr; }這里有一個(gè)非常多見的坑對(duì)于cached類型的內(nèi)存CPU訪問之前和硬件訪問之后必須做緩存同步。如果你直接讀寫mmap出來的地址而這塊內(nèi)存剛被NPU或者攝像頭DMA改寫過你讀到的很可能是Cache里的舊數(shù)據(jù)。反過來CPU改完數(shù)據(jù)要交給硬件如果不主動(dòng)刷Cache硬件DMA可能讀到舊數(shù)據(jù)。內(nèi)核提供的接口是DMA_BUF_IOCTL_SYNCstruct dma_buf_sync sync { .flags DMA_BUF_SYNC_START | DMA_BUF_SYNC_READ, }; ioctl(dma_fd, DMA_BUF_IOCTL_SYNC, sync); // 在這里安全地讀取數(shù)據(jù) sync.flags DMA_BUF_SYNC_END | DMA_BUF_SYNC_READ; ioctl(dma_fd, DMA_BUF_IOCTL_SYNC, sync);如果不想糾結(jié)同步可以干脆用uncached內(nèi)存代價(jià)是CPU讀寫性能稍差。但注意用uncached內(nèi)存做CPU后處理比如NMS循環(huán)、畫框時(shí)大量隨機(jī)訪問會(huì)明顯慢于cached內(nèi)存。我自己實(shí)測(cè)畫框這種頻繁小寫操作uncached比cached慢15%到30%。所以更推薦的做法是NPU輸入用uncached保證一致性畫框、疊加這種CPU操作放到一個(gè)cached的dma-buf上配合SYNC ioctl來管理。3. 在RK3588上打通一路零拷貝視覺管線3.1 端到端鏈路設(shè)計(jì)與內(nèi)存分配策略聊完底層機(jī)制我們來看一個(gè)完整的設(shè)計(jì)。假設(shè)要這樣做一路AI視覺任務(wù)進(jìn)程A攝像頭采集 ISP輸出進(jìn)程BRKNN NPU推理 后處理進(jìn)程CRGA縮放/畫框 VPU編碼RTSP推流三個(gè)進(jìn)程各司其職。傳統(tǒng)方案里A把每幀拷貝給BB處理完拷貝給C。零拷貝方案的設(shè)計(jì)目標(biāo)是讓同一塊dma-buf在這三個(gè)進(jìn)程之間流轉(zhuǎn)只在必要的時(shí)候才新分配。一個(gè)經(jīng)驗(yàn)做法是建立一個(gè)幀緩沖池進(jìn)程A啟動(dòng)后從dma_heap分配一定數(shù)量的dma-buf按幀池容量比如5到8幀每幀圖片數(shù)據(jù)直接由ISP/RGA寫入這些dma-buf進(jìn)程A通過IPC把dma-buf的fd發(fā)給進(jìn)程B進(jìn)程B在fd上mmap或交給RKNN推理完成后把fd再轉(zhuǎn)給進(jìn)程C進(jìn)程C用RGA疊加結(jié)果、縮放然后送入VPU編碼。內(nèi)存分配只發(fā)生在啟動(dòng)階段運(yùn)行階段只有fd在不同進(jìn)程間流轉(zhuǎn)數(shù)據(jù)本身不移動(dòng)。這里有個(gè)細(xì)節(jié)值得強(qiáng)調(diào)提前分配幀池不要在每幀處理時(shí)反復(fù)分配/釋放dma-buf。我在項(xiàng)目里一開始偷懶每幀都現(xiàn)分配結(jié)果多路并發(fā)時(shí)內(nèi)存碎片很快出現(xiàn)跑幾個(gè)小時(shí)就分配失敗。幀池化之后系統(tǒng)穩(wěn)定運(yùn)行時(shí)間從幾小時(shí)提升到一周以上。3.2 跨進(jìn)程轉(zhuǎn)發(fā)DMA-BUF fd的兩種可靠姿勢(shì)那么問題來了fd怎么從一個(gè)進(jìn)程傳給另一個(gè)進(jìn)程fd本質(zhì)上是進(jìn)程級(jí)的文件描述符表項(xiàng)不能直接通過普通的int傳值給對(duì)方——同一個(gè)整數(shù)值在不同進(jìn)程里可能指向完全不同的文件。兩種可靠的轉(zhuǎn)發(fā)方式方式一Unix域socket SCM_RIGHTSLinux通用用sendmsg/recvmsg發(fā)送輔助數(shù)據(jù)讓內(nèi)核把fd從一個(gè)進(jìn)程的fd表復(fù)制到另一個(gè)進(jìn)程的fd表。這是純用戶態(tài)最通用的方案不依賴Android系統(tǒng)純Linux環(huán)境比如Debian 11、Ubuntu都能用。// 發(fā)送方把dma_fd通過socket傳給接收方 void send_fd(int sock, int fd) { struct msghdr msg {0}; char buf[CMSG_SPACE(sizeof(int))] {0}; struct iovec iov { .iov_base F, .iov_len 1 }; msg.msg_iov iov; msg.msg_iovlen 1; msg.msg_control buf; msg.msg_controllen sizeof(buf); struct cmsghdr *cmsg CMSG_FIRSTHDR(msg); cmsg-cmsg_level SOL_SOCKET; cmsg-cmsg_type SCM_RIGHTS; cmsg-cmsg_len CMSG_LEN(sizeof(int)); memcpy(CMSG_DATA(cmsg), fd, sizeof(int)); sendmsg(sock, msg, 0); } // 接收方收到的是一個(gè)新的、可用的fd int recv_fd(int sock) { struct msghdr msg {0}; char buf[CMSG_SPACE(sizeof(int))] {0}; struct iovec iov { .iov_base F, .iov_len 1 }; msg.msg_iov iov; msg.msg_iovlen 1; msg.msg_control buf; msg.msg_controllen sizeof(buf); recvmsg(sock, msg, 0); struct cmsghdr *cmsg CMSG_FIRSTHDR(msg); if (!cmsg || cmsg-cmsg_type ! SCM_RIGHTS) { return -1; } int fd 0; memcpy(fd, CMSG_DATA(cmsg), sizeof(int)); return fd; }這里的開銷是一次sendmsg 一次內(nèi)核級(jí)的fd表復(fù)制。相比整幀數(shù)據(jù)拷貝這個(gè)開銷幾乎可以忽略實(shí)測(cè)一次fd傳遞大約在微秒到幾十微秒級(jí)別。方式二BinderAndroid系統(tǒng)方案如果你的RK3588跑的是Android系統(tǒng)Binder是更熟悉的方案。Android的SurfaceBuffer跨進(jìn)程共享本質(zhì)上就是把dma-buf fd通過Binder傳給對(duì)方接收方再用gralloc映射。但這個(gè)方案和Android圖形棧綁得比較緊做純Linux邊緣計(jì)算設(shè)備時(shí)基本用不上。這篇文章按純Linux環(huán)境來講用的就是SCM_RIGHTS。還有一個(gè)土辦法是讓兩個(gè)進(jìn)程fork自同一個(gè)父進(jìn)程fd天然被繼承不需要傳遞。但這要求主進(jìn)程先分配好所有dma-buf并派生子進(jìn)程進(jìn)程結(jié)構(gòu)上不夠靈活我一般只在快速原型時(shí)用。3.3 實(shí)測(cè)零拷貝與普通拷貝的量化對(duì)比這里放一組我在RK3588開發(fā)板8GB內(nèi)存版本Debian 11系統(tǒng)上做的對(duì)比實(shí)測(cè)單路1080p30fps NV12幀從采集進(jìn)程到AI進(jìn)程這一段。方案A普通共享內(nèi)存 memcpy。每幀約3.1MB拷貝用時(shí)平均約1.2毫秒發(fā)送方和接收方各占一次memcpy總共約2.4毫秒期間CPU占用約為單核的25%左右。方案Bdma-buf SCM_RIGHTS傳fd。每幀不拷貝數(shù)據(jù)只有一次fd傳遞用時(shí)平均約40微秒CPU占用幾乎可以忽略。單從這一段看每幀省了2.3毫秒。整條鏈路如果省掉3次拷貝每幀就是7毫秒左右的收益。對(duì)于30fps幀間隔33毫秒的場(chǎng)景這7毫秒就是穩(wěn)定不掉幀和頻繁掉幀的分水嶺。這個(gè)數(shù)據(jù)在不同固件版本、不同內(nèi)存配置下會(huì)有波動(dòng)但量級(jí)是穩(wěn)定的零拷貝在延遲上快一到兩個(gè)數(shù)量級(jí)CPU開銷接近零。4. 和RKNN NPU對(duì)接時(shí)的對(duì)齊、生命周期與同步細(xì)節(jié)4.1 RKNN輸入輸出對(duì)內(nèi)存的隱性要求在RK3588上做AI視覺推理引擎幾乎都是RKNN Runtime。rknn_input結(jié)構(gòu)體里有一個(gè)成員叫buf_type我見過不少人在這一步忽略了零拷貝入口rknn_input inputs[1]; inputs[0].index 0; inputs[0].type RKNN_TENSOR_UINT8; inputs[0].size frame_size; inputs[0].fmt RKNN_TENSOR_NHWC; inputs[0].buf mmap_addr; // 指向dma-buf mmap出來的地址 inputs[0].pass_through 0; inputs[0].buf_type RKNN_INPUT_TYPE_NORMAL; // 注意這里如果buf_type設(shè)為RKNN_INPUT_TYPE_NORMAL驅(qū)動(dòng)容易走拷貝路徑。要真正利用dma-buf的零拷貝能力需要把buf字段換成dma-buf fd并讓RKNN走對(duì)應(yīng)的零拷貝輸入通道。具體API在不同版本的rknn-toolkit2里略有差異但思路一致希望NPU直接拿到的是物理/IOMMU可尋址的內(nèi)存而不是用戶態(tài)一個(gè)普通malloc地址。這里有個(gè)很隱蔽的坑RKNN對(duì)輸入內(nèi)存往往要求對(duì)齊。比如yolov8在RK3588上部署時(shí)輸入分辨率如果是640×640那還好但如果你的圖像尺寸比較特殊推理前通過RGA做縮放時(shí)要確保輸出內(nèi)存的寬、高、stride滿足NPU的對(duì)齊要求。常見的做法是分配dma-buf時(shí)就把寬對(duì)齊到16或64字節(jié)否則模型加載不報(bào)錯(cuò)推理結(jié)果卻會(huì)偶爾出現(xiàn)偏移或錯(cuò)位。4.2 fd生命周期誰分配、誰釋放、怎么防泄漏dma-buf的核心是一個(gè)文件對(duì)象引用計(jì)數(shù)由內(nèi)核維護(hù)。一個(gè)fd被SCM_RIGHTS傳給另一個(gè)進(jìn)程后內(nèi)核會(huì)為接收進(jìn)程創(chuàng)建新的fd同時(shí)引用計(jì)數(shù)加一。釋放的規(guī)則是每個(gè)進(jìn)程關(guān)閉自己的fd當(dāng)所有fd都關(guān)閉時(shí)dma-buf內(nèi)存才會(huì)被真正回收。這帶來兩個(gè)問題問題一重復(fù)close。如果接收方用完后close了fd但發(fā)送方以為對(duì)方還在用又close一次——不會(huì)崩潰但可能提前釋放內(nèi)存。所以需要在項(xiàng)目里明確一個(gè)幀dma-buf從池中取出后由哪個(gè)進(jìn)程負(fù)責(zé)關(guān)閉。我習(xí)慣的做法是最后一個(gè)使用者負(fù)責(zé)關(guān)閉把fd的歸屬權(quán)隨幀一起傳遞后處理完成后由接收方close并歸還給幀池。問題二fd泄漏。如果接收方進(jìn)程收到fd后異常退出或發(fā)送方發(fā)送后忘記closefd會(huì)一直占著。長(zhǎng)時(shí)間運(yùn)行會(huì)出現(xiàn)分配失敗的詭異問題。我的排查經(jīng)驗(yàn)是定期通過 /proc/pid/fd 計(jì)數(shù)觀察fd數(shù)量是否線性增長(zhǎng)。多路視頻跑一晚上fd數(shù)如果不回落基本就是哪里泄漏了。代碼規(guī)范上所有SCM_RIGHTS接收路徑建議加上MSG_CMSG_CLOEXEC避免子進(jìn)程意外繼承。4.3 fence同步不讓NPU和CPU互相踩腳零拷貝的隱藏復(fù)雜度在同步不在傳輸。當(dāng)多個(gè)硬件設(shè)備共享一塊內(nèi)存時(shí)必須保證誰寫完誰才能讀。比如NPU正在讀dma-buf推理CPU此時(shí)不能去改寫這份數(shù)據(jù)?,F(xiàn)代內(nèi)核里這個(gè)職責(zé)由sync_filefence機(jī)制承擔(dān)。dma-buf可以關(guān)聯(lián)一個(gè)或一組fence設(shè)備的DMA操作完成時(shí)signal fence等待方通過poll等待fence觸發(fā)。Rockchip的NPU驅(qū)動(dòng)和V4L2驅(qū)動(dòng)都實(shí)現(xiàn)了fence機(jī)制使用的時(shí)候要在應(yīng)用層把等待邏輯處理好。舉例進(jìn)程A的采集驅(qū)動(dòng)給幀1掛上寫完成fence進(jìn)程B把幀1交給NPU時(shí)會(huì)等待這個(gè)fence同樣NPU推理完成后會(huì)signal讀完成fence進(jìn)程C才能對(duì)這幀做畫框或編碼。如果忽略這一步常見癥狀是偶發(fā)性花屏、推理結(jié)果偶爾錯(cuò)亂、畫面撕裂。這類問題在開發(fā)機(jī)上很難復(fù)現(xiàn)一到現(xiàn)場(chǎng)就頻繁出現(xiàn)排查成本極高。所以架構(gòu)設(shè)計(jì)時(shí)一定要把誰等待誰的fence鏈條畫清楚。5. 我在實(shí)際項(xiàng)目中踩過的四個(gè)坑5.1 RGA輸出內(nèi)存64字節(jié)對(duì)齊的隱性問題RK3588的RGA2/RGA3硬件對(duì)輸出內(nèi)存地址有對(duì)齊要求不同固件要求不完全一樣但64字節(jié)對(duì)齊是基本盤。如果你用RGA把YUV縮放或者轉(zhuǎn)成RGB送給NPU輸出dma-buf的地址和stride都要對(duì)齊。具體踩坑是這樣我用RGA把1080p NV12縮放成640×640 RGB輸出buffer用dma_heap分配當(dāng)時(shí)覺得dma_heap分配的內(nèi)存天然對(duì)齊沒做檢查。結(jié)果偶發(fā)出現(xiàn)輸出圖像右移幾個(gè)像素的情況。排查到后面才發(fā)現(xiàn)dma_heap的物理地址對(duì)齊沒問題但RGA計(jì)算stride時(shí)要求buffer寬度按64字節(jié)對(duì)齊640×3RGB三個(gè)通道19201920對(duì)64剛好整除沒問題換成某些非標(biāo)分辨率時(shí)就會(huì)出問題。建議所有RGA相關(guān)buffer寬度統(tǒng)一按64字節(jié)對(duì)齊計(jì)算stride再乘以高度。5.2 進(jìn)程異常退出導(dǎo)致fd泄漏這是多進(jìn)程零拷貝方案里最麻煩的問題發(fā)送方把fd發(fā)給接收方接收方處理到一半崩潰了fd沒人關(guān)。如果之后發(fā)送方又發(fā)新fd最終所有分配器都因?yàn)閒d耗盡或內(nèi)存不釋放而罷工。我在一個(gè)9路相機(jī)的項(xiàng)目里遇到過一次詭異的運(yùn)行12小時(shí)后畫面逐漸卡死。定位過程很痛苦最后是靠在每路進(jìn)程里加心跳上報(bào)、崩潰自動(dòng)重啟并且在重啟時(shí)全量close舊fd、重建幀池解決。這個(gè)方案的代價(jià)是重啟瞬間會(huì)有幾幀丟失但系統(tǒng)整體可用性大幅提升。更徹底的做法是引入一個(gè)資源管理器進(jìn)程統(tǒng)一管理dma-buf的分配和回收其他進(jìn)程只通過IPC請(qǐng)求fd用完歸還。壞處是繞了一層性能有一點(diǎn)損耗好處是任何進(jìn)程崩潰都不會(huì)把內(nèi)存池搞亂。如果你做的是長(zhǎng)期運(yùn)行的工業(yè)設(shè)備我推薦花這個(gè)代價(jià)。5.3 緩存一致性在RK3588上的特殊表現(xiàn)緩存一致性的坑大多數(shù)時(shí)候在看起來沒問題的場(chǎng)景里潛伏。比如我一度全部用uncached內(nèi)存做幀緩沖CPU畫框確實(shí)慢一些但功能正常也就沒深究。后來把幀緩沖改成cached內(nèi)存以提升CPU訪問性能結(jié)果畫面出現(xiàn)間歇性花屏測(cè)試一天才出現(xiàn)兩三次非常難排查。最后定位到是CPU畫框后沒有做DMA_BUF_IOCTL_SYNC的START|WRITE刷CacheVPU讀的時(shí)候讀到了部分舊數(shù)據(jù)。這里提醒一下使用cached dma-buf時(shí)CPU寫前后都必須做SYNC不能只做一次。寫入前用START|WRITE寫入后用END|WRITE。這一對(duì)操作缺一個(gè)長(zhǎng)期運(yùn)行都會(huì)出問題。5.4 多路并發(fā)下的內(nèi)存碎片難題多路視頻并發(fā)時(shí)每一路都要維護(hù)自己的一堆幀緩沖。如果所有路共用一個(gè)大池子雖然內(nèi)存利用率高但分配/釋放頻率也高時(shí)間一長(zhǎng)CMA區(qū)域會(huì)被切成碎片后續(xù)大塊分配失敗。我的做法是把關(guān)鍵路徑上的大塊dma-buf全部在啟動(dòng)階段預(yù)分配好運(yùn)行期間不新增、不釋放如果需要?jiǎng)討B(tài)調(diào)整也只在系統(tǒng)空閑時(shí)做。預(yù)分配的數(shù)量按最大路數(shù) × 每路幀數(shù) × 余量計(jì)算比如8路每路5幀再留2路余量就是50幀左右。一套這樣的固定池方案配合不加鎖的環(huán)形隊(duì)列流轉(zhuǎn)實(shí)測(cè)跑7×24小時(shí)沒有出現(xiàn)分配失敗。6. 零拷貝方案選型建議什么場(chǎng)景該用、什么場(chǎng)景別碰6.1 先想清楚多進(jìn)程還是單進(jìn)程多線程零拷貝跨進(jìn)程通信解決的是多進(jìn)程架構(gòu)下的高效數(shù)據(jù)共享問題。但反過來想如果模塊之間信任度高、代碼庫統(tǒng)一單進(jìn)程多線程可能是更簡(jiǎn)單的方案線程天然共享地址空間一個(gè)指針就能傳數(shù)據(jù)不需要fd不需要SCM_RIGHTS不需要管生命周期歸屬。什么情況下值得多進(jìn)程模塊由不同團(tuán)隊(duì)維護(hù)或者要單獨(dú)升級(jí)、單獨(dú)重啟某模塊比如采集驅(qū)動(dòng)封裝穩(wěn)定性不夠崩了不能帶崩整個(gè)系統(tǒng)有安全隔離需求不同進(jìn)程的權(quán)限不同。如果這些你都不需要我的建議是優(yōu)先單進(jìn)程多線程把線程綁定到不同CPU核心RK3588有8個(gè)核心A76和A55各司其職數(shù)據(jù)用線程間無鎖隊(duì)列傳遞性能足夠開發(fā)效率高很多。6.2 什么時(shí)候不要用零拷貝零拷貝不是銀彈。遇到下面情況我會(huì)選擇退回傳統(tǒng)拷貝方案數(shù)據(jù)量小、頻率低比如只是傳一些結(jié)構(gòu)化的小數(shù)據(jù)檢測(cè)框坐標(biāo)、溫度值一次拷貝才幾百字節(jié)沒必要付出維護(hù)fence和生命周期的復(fù)雜度數(shù)據(jù)形態(tài)需要轉(zhuǎn)換比如RAW圖轉(zhuǎn)RGB、NV12轉(zhuǎn)BGR轉(zhuǎn)換本身就要讀寫全部數(shù)據(jù)這時(shí)候拷貝轉(zhuǎn)換合在一起反而更高效硬件單元不支持直接訪問有些第三方IP核或外設(shè)沒有SMMU要求物理連續(xù)內(nèi)存而零拷貝池不好滿足不如拷貝一次省心。6.3 我的最終架構(gòu)建議綜合這些經(jīng)驗(yàn)我現(xiàn)在在RK3588上做邊緣AI視覺的標(biāo)準(zhǔn)架構(gòu)是這樣的采集進(jìn)程V4L2/ISP采集啟動(dòng)時(shí)從dma_heap分配固定幀池幀數(shù)據(jù)由ISP直接寫入dma-buf推理進(jìn)程通過SCM_RIGHTS接收dma-buf fd交給RKNN零拷貝推理后處理NMS、邏輯判斷在cached dma-buf上做輸出進(jìn)程RGA疊加結(jié)果、VPU編碼RTSP推流同樣讀寫dma-buf fd幀池和fd生命周期由最后使用者負(fù)責(zé)每個(gè)進(jìn)程崩潰時(shí)都有守護(hù)進(jìn)程拉起重啟后重建幀池。這套方案在9路1080p25fps yolov8s檢測(cè)的工業(yè)場(chǎng)景里跑過CPU占用穩(wěn)定控制在20%左右端到端延遲平均80毫秒最長(zhǎng)連續(xù)運(yùn)行兩周沒有出現(xiàn)內(nèi)存或fd泄漏。相比最初全拷貝的版本CPU占用降了三分之一掉幀數(shù)歸零。最后再分享一個(gè)小技巧調(diào)試階段可以在每個(gè)進(jìn)程里定期打印 /proc/pid/status 里的VmLck、/proc/pid/fdinfo 里的dma-buf信息把fd數(shù)量和內(nèi)存占用打點(diǎn)記錄下來跑一晚上看曲線。所有不能收斂的曲線都是問題定位起來比瞎猜快得多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲欧洲自拍图片专区满春格| 麻豆成人影音在线| 男人亚洲91首页在线| 国产欧美岛国精品一区| 国产极品粉嫩馒头一线天av| 26uuu最新| 人妻人久久精品中文字幕| 7月婷婷综合| 五月婷婷爱六月丁香色| 肉嘟嘟www视频在线观看高清| 久久精品28| 自拍第一页| 不卡九肏| 麻豆黄色五月天| 日本理论在线| www.久久最新地址| 性色av大全| 天天综合-91入口| 99精品综合久久久久五月天| 9长久久精品| 中文字幕一区 二 区 三 四 五 区日 日 骚 | 天美麻花大全视频| 日韩欧美aⅴ综合网站发布| 亚洲日韩精品一区二区| 亚洲综合色图欧美| 亚欧洲一区二区视频| 色眯眯射| 丰满人妻一区二区三区四| 超碰91在线| 操逼逼福利视频| 黄色av网站在线播放| 午夜性刺激视频免费观看| 操一对老熟妇爽上天视频| 神马久久69| 性欧美天天| oumeisetu综合| 九九综合久久| 日本99久久| 国产AV久久野战精品| 国产精品久久天天干| 中文字幕天堂在线| 18禁看网站一区| 欧美色图20p| 日韩成人小视频| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 日韩熟女精一区二区三区不卡| 曰本道人妻久久久在线不卡色视频 | 青青伊人久久| 蜜桃视频一区二区三区| 91女优在线观看 | 国产黄色影片在线观看| 亚洲 一区二区 自拍| 日韩精品在线视频,日韩精品……| 精品人妻一区二区三区不卡断| 久久久久久久久9| 蜜臀中文无码午夜| 9久热这里只有精品| 2017天天插| 美女网站91| www.91视频网| 91精品国产91综合久久蜜臀| 色淫网站优优视频| 少妇高潮九九九九| 肉动漫无遮挡h在线观看| 熟女精品日韩一区二区三区| 青青色在线观看| 国产美女高潮| 国产亚洲精品A在线观看下载| A 天堂| 大屁股人妻女教师撅着屁股| 国产操伦| 一级黄色牲爱A级片| 午夜精品探花| 狠狠干狠狠干| 夜夜一区二区| 亚洲宗合网| 羞答答AV中文字| 欧美日韩妖精91com| 亚洲综合在线91| 啊啊啊爽爽| 乱伦一二三区| 亚洲av淫乱| 色五月综合| 亚洲国产一区二区三区在线| 天天情欲宗合网| 综合亚洲网| 夜夜躁狠狠躁日日躁av| 无码外流操逼视频| 手机看片1024你懂的国产| 国产AV久久久蜜爱影集| 欧美最婬乱婬爆婬性视频 | 999久久久精品国产| 中文字幕加勒比海高清无码免费视频 | 嗯嗯啊在线视频| 伊人青青一区成人视频在线观看区| 国产亚卅97| 欧美第二页午夜| 欧美姓爱综合网| 无码直播久久久| 国产1769在线| 色盈盈影院| 亚洲AV色图一区| 中文字幕在线观| 国产操逼视频在线观看| 精品人妻伦一二三区久久| 开心六月色| 天天综合网亚洲综合网| 欧美一区二区日韩三区| 五月香婷婷| 久操在97| 日韩三级伊人| 欧美视频在线视频免费va| 亚洲国产综合久久天堂| 久久久免费视频18| 蜜屁Av| 上床啊啊啊| 99re热有精品视频国产| 久超碰在| 可乐操亚洲蜜911| 女同女同恋久久级三级| 久久草草欧美精品| 另类图片五月天| 人人看人人插| 日韩99神马视频播放| 日韩97超碰| 久久精品国产亚洲AV嘿嘿| 97亚洲综合电影| 亚洲天堂资源| 欧美1区二区三区公司| 日本在线一二| 97超碰中文字幕| 一级AV性爱| 国产剧情一区在线观看| 超碰9 7女人 | 日本黄色裸日本黄色裸体| 亚洲熟女人妻中文字幕一区二区| 日韩欧美国产高清视频| 欧美一品道| 在线观看一级α片刺激高潮视频| 婷婷五月天av| 人人妻人人爽一区二区三区| 亚洲图片偷拍视频区| 国产精品天干天干综合网麻豆 | 青青操97| 91国模| 免费操逼视频下载| 久欲AV| 免费人成在线观看网站品爱网| 日本大片日本一区二区免费高清| 超碰导航97| 亚洲字幕一区二区| 成人网欧美风情| 人人摸人人入| 日韩精彩免费| 蜜臀久久99精品久久久| 人妻久久久| 视频二区美腿制服人妻欧美| 中文字幕一区二区三区视频播放| 亚洲熟妇综合久久久久久| AⅤ片水多多| 国产suv精品一区二区四区999| 精品人妻久久久久一区二区三区| 人人扣人人操| 草久在线| 92福利社视频| 成人国产视频在线观看| 一区二区三区男女操逼黄色小电影| 欧美激情综合网| 东京热亚洲一区二区| 97在线视频观看| A V少妇特黄三级| 亚洲欧美伦综合| 色婷婷亚洲婷婷| 99热一区二区三区四区| 天天淫人人妻日日色| 四虎在线视频| 七久久久| 国产乱伦视频污| 亚洲中文人妻色| 亚洲无码com| 久草色悠悠在线视频| 八戒午夜福利理论片| 久草男人天堂| 久草免费在线一区二区| 清纯唯美亚洲另类| 91丝袜在线观看视频在线观看| 另类图片欧美激情综合| 亚洲www91| 亚洲AV无码AV吞精久久久久| 熟女熟妇伦久久影院毛片一区二区| 91干熟女| 中文字幕乱码在线| 亚爽爽爽爽爽爽爽爽| 天天做日日爱夜夜爽| 亚洲熟妇AV日韩熟妇在线| 亚洲1区| 亚欧美色| 亚洲色图欧美另类在线| 亚洲欧美精品福利在线| 青娱乐妇女性生活| 黄色不卡视频| 超碰在线国产| 亚洲欧美日韩制服另类| 91女优在线观看| 大香蕉九九| 91欧美大片| 精品久久大胆人体| 超碰在线91| 看免费一级在线播放毛片| 欧美少妇性乱| 欧美色婷婷| 久久的免费性爱视频| 欧美青青视频| 69精品在线| 亚洲欧美自拍偷拍| 欧美激情精品| 一二三四视频在线社区中文字幕| 天天综合网站| 国产 日韩 欧美 中文 另类,国产 欧美 另类 制服 变态,高清 日韩 欧美 中文,高 | 精品九九九九| 日本一线产区和二线产区伦理片| 97超碰无码网| 九九香蕉网| 国产在线观看一区二区三区| 成人夜夜| 啊啊啊啊二区好大| 看看小穴| a在线视频免费观看| 国产强奸乱伦第1页| 青青青草伊人精品| 国产精品。| 亚洲国产日韩欧美熟妇在线| 中文字幕精品一区二| 巨乳特殊服务按摩| 人妻内射一区二区在线视频| 人人喜人人妻| 精品成人av一区二区三区在线| 成 人 A V免费视频在线观看| 青青草五月份天| 欧美72网页| 国产成人亚洲精品自产在线| 激情综合网五月婷婷五月天| 日韩免费在线观看不卡| 欧美日韩欧美| 玖玖爱综合网| 成人性爱视频在线看| 97干在线| 玖玖久久久| 伊人久久亚洲色欲综合网站| 久久97资源 网| 亚洲宅男天堂| 久久久97| 欧美久久伊人| 欧美性爱日韩性爱| 欧美伊人久久综合网| 97aiaiai| 亚洲图片第一页| 激情文学亚洲| 蜜臀av网址| 超碰中文字幕人妻草一区| 欧美综合站| 国产97色在线| 凹凸 69堂 在线播放| 伊人991| 丝袜内射| 北京专精特新企业招聘信息| 91蜜臀熟女| 欧美日韩99| 日韩视频啪啪| 亚洲暴力强奸AV| 亚洲性爱免费电影| 日韩激情毛片一级久久久| 91综合在线| 欧美色图第一页| 欧美综合色,www| 国产三级中文字幕粉嫩| 老鸭窝日丰县女人| 欧美,日韩,中文,另类| 亚洲国产亚洲天堂| AV色五月天| 久草精品视频| 久久亚州大香蕉| 五毛骚逼极品美女怕怕| 91国产在线精品| 91在线/欧洲| 最新精品久久蜜桃| 99热日| 中文字幕伊人| 亚洲精品蜜桃久久久| 亚洲成人AB| 久久久久久人| 欧美综合网在线| 伊人骚琪琪亚洲天堂网站| 亚洲激情综合另类| 岛国黄片网站| 亚洲人体视频在线观看| 精品人妻1区| 国产强奸乱伦xd| 亚洲精品一区二区精品| 乱伦a片视频| 色哟哟511老熟女| 国产一区二区三区影片| 成人看片网站| 日韩精品三区四区| 久久色一区二区| 操91| 五月天婷婷社区| 91精品国产一区三一| 淫荡网址| 伦激情人妻另类人妻| 精品毛片av一区二区| 欧美人妻精品一区二区| 五月丁香综合啪啪| 亚洲AV无码久久精品蜜桃小说| 成 人片 黄色大片| 欧美黄页| 欧美一区二区一级岛国大片| 奇米狠999| 在线性黄高清免费视频| 国产精品久久9| 久久超碰、| 欧美国产有色电影| 亚洲中文丝袜美腿诱惑字幕| 欧美操人视频| 亚洲欧洲日韩国产自在线| 91丨九色丨国产打屁股| 91骚妇| 亚洲色图第一页| 欧美亚洲综合高清在线| 国产精品网址| 另类在线| 久久亚码| 国产在线综合福利网站| 强奸乱伦中文字幕AV| 无码国产精品午夜不卡(| 麻豆久久久久久久久丝袜| 99日精品欧美国产| 欧美日韩99精品麻豆传媒| 夜夜福利| 九九五月天| 人妻欧美| 一级久久久久久久久久久 | 国产精品suv一区| 久肏视频字幕| 啪啪啪精品| 亚洲国产一区二区三区四区国产| 国产超碰在线一区| 99在线精品视频| 盗摄女人妻在线| 77777亚洲蜜臀精品久久综合蜜臀| 骚女高跟AV在线| 亚洲综合欧美| 强奸a片网| 久久有碼| 夜夜精品视频| 妺妺跟我一起洗澡没忍住| 天天日日本| 91久| 色欲日韩欧美在线一区| 美腿丝袜偷拍亚洲欧美| 大学生美女口爆| 九九九999久久久网站| heyZO天然素人无码AⅤ专区| 好淫网一二三视区| 一区二区三区四区在线不卡| 内射小黄片| 粉嫩国产精品久久粉嫩| 久久中文字幕人妻熟av女蜜柚| 在线无码视频| 亚洲国产一区二区三区在线| 国产激情在线| 久久亚洲精品成人av| 欧美熟女妇同| 日本操逼无码| 少妇二级| 久久粉色| 欧美躁死她一区二区| 久久九九热| 久久人人爽爽人人爽人人片αV| 人人操天天爽| 日本孕妇一区二区视频操逼免费看 | 少妇熟女视频一区二区三区 | 中韩中文字幕在线观看| 日韩亚洲中文有码视频| 精品乱子一区二区三区99| 97超碰色情| 大香蕉乱伦视频网| 亚洲女人毛茸茸91| 顶级丝袜熟女一区二区三区 | 色综合潮| 日本精品一级二级三级| 国产超碰在线| 天美传媒婬乱在| 人人天天干干| 黄色一区三区| 国产1769在线| 色约约一区=区三区| 日欧亚洲二三区大片不卡| 东北老女人的激情视频| 欧美日韩免费性爱| 成人片视频| 在线播放一级无码视频| 亚洲自拍欧美色综合| 成全在线观看免费观看| 韩国嫰模上门援交视频| 91在线无码精品秘 软件| 另类欧美| 99九九精品| 亚洲成人ab| 男人天堂2019亚洲| 大香蕉乱级| 91亚洲欧美色图| 91性高| 加勒比在线视频一区二区三区| 男人的天堂在线| 日韩Va亚洲va欧美Ⅴa久久| 日本三级韩国三级美三级91| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | 综合网欧| 日韩亚洲精品一区二区| 久久夜精品一区二区三区| 国产精品一级特黄aaa大片在线观看| 天操老女人| 国产亚洲日本精品在线| 欧中美三级一区二区三区| 丁香色婷婷| 97干97色| 欧洲与亚洲欧美精品中文字幕| 人人艹亚洲| 91网站18+| 中文乱码字幕观看| 宅男91视频在线播放| 天天日天天干天天操| 少妇人妻无码| 狠狠色婷婷777| 成人久久久| 日韩ab网| 99操视频| 亚洲黄片免费在线播放| 操香逼| 亚洲中文国际强奸字幕| 日韩91网站| 色老汉色| 国产精品久久久鸭无码的功能| 色噜噜人妻av中文字幕| 人妻天天操天天爽视频免费| 国产亚洲中文不卡二区| 人妻丝袜一区二区三区在线| 日韩av熟女一区二区三区成人| 99国产精品视频尤物| 久久九操在线观看| 精品国产乱码久久久久A| 无码高清操逼网址| 91伊人久久在线| 欧日韩不卡视.频| 国产精品女生av| 91无码人妻精品一区二区三区蜜桃 | 97国产精品在线观看| 亚洲色偷偷色噜噜狠狠99网| 欧美aaaaaaa| 欧美色图20p| 欧美 亚洲 综合 制服 另类| 久久国产精品一级二级三级| 国产男人又猛又粗又爽| 精品视频在线观看精品| 99视频自拍区| 男生女生啊啊啊啊| 91狠狠色丁香婷婷综合久久精品| 国产av强奸美女| 天天色欧美| 十八禁电影伊人网| 口爆欧美91| 久久久97| 国语国产操逼伊人AV网| 一级性爱视频免费观看 | 中文字幕日韩精品久久| 超碰97综合| 97国产伦理| 日本熟人妻中文字幕在线|...久久国产精品-国产精品_日本一区二区三区中文字幕 | 久草成人影片| 91熟女综合| 日本道不卡| 色综合20p| 人妻精品综合中文字幕在线 | 中文字幕一区二区无码成人| 亚洲少妇自拍中文字幕懂色| 色天堂综合| 日韩精品人妻系列无码天堂| 久久超碰爱| 中字乱伦AV| 亞洲久久直播| 超碰性爱97| 激情啪啪拍91| 亚洲经典啪啪| 国产在线观看91精品一区| 91久久青青草原精品| 操熟女91| 超碰色97| 久操97| 亚洲另类天堂| 97超碰站| 中文字幕第9页萱萱影音先锋| 无码78| 午夜αv| 综合网天天| aV中亚| 欧美极品色| 天天插天天舔舔天天干| 久久麻豆一区二区| 又黄又爽在线观看视频| 无码色| 成年人一级黄色毛片大全在线观看| 曰韩操B| 久久久久人妻二区精品叶可怜| 中文字幕诱惑制服人妻丝袜美丝袜美| 亚欧美天堂在线| 久久夜夜夜夜| 狠狠躁日日躁夜夜躁A| 亚洲偷91色| 中文字幕av片| 精…码一二三区| 91啦人妻| 国产三级中文有码在线视频| aaa一级黄片| 五月婷婷丁香六月| 欧美九九99久久精品| 中文字幕国产精品1区| 黄总AV色图| 97精品久久久久中文字幕| 国产中午字一暮区| 国产精品视屏| 欧美日韩免费性爱| 欧美黄色片AAAAA| 人妻激情偷乱视频一区二区三区 | 亚洲nv男人的天堂网| 中文字幕艹艹| 亚洲日本天堂| 国产91 丝袜在线播放00-百度| 夜夜嗨AV一区天天| 97视频网站在线观看| 超碰在线974| 四季AV一区二区凹凸精品小说| 夜草欧美| 97 国产精品| 91成人无码| 狠狠操狠狠操操| 国产精品一二三区18| 最新av网站在线观看| 国产高清无码一区三区二区| 久精品无码av一区二免费国产在线观看| 91色婷婷综合久久中文字幕二区| 婷婷五月成人| 欧美激情 日韩精品| 日本久久综合| 高清无码学生妹高潮| 超碰78| 人人 操人人 操人人| 在线观看av区| 91啪9色| 蜜臀va69| 91麻豆天美| 黄色欧美性爱视频| 在线人妻熟女一区二区三区四区五区| 欧美一区二区在线资源| 97视频在线观看高清资源| 日韩AV无码中文一区二区| 婷婷色在线| 亚洲精品天天影视综合网| 久9爱经典视频| 九九碰九九爱97超| 秋霞无码av鲁丝片一区| 人人天天欧洲| 高清不卡国产| 精品久| 国产欧美一区激情交| 欧色性第一页| 日韩熟女操逼| 久久久不能久久久久| 欧美亚洲特P| 无色无码| 青草园大香蕉| 亚洲毛片一级带毛片基地| 色女99一级片在线观看| 91丝袜人妻| 亚洲精品一区二区三区在线播放| 欧美在线视频播放| 2017人人操,人人摸| 99色在线| 中文乱码字幕观看视频| 99热精品免费| 人人操人人肉久久精品| 日本一级一级一级一级| 青娱乐黄色录像| www久久99| 国产91美女视频| 婷婷综合网| 天天在线91| 老女人综合网| 丁香五月激情啪啪| 老熟妇一区二区三区| 家庭乱伦国产精品| 亚洲国男人的天堂| 久久99干一本高清| 国产精品视频一区二区三区八戒| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 国产老熟女| 精品视频在线观看精品| 性色中出| 操逼www.| 欧美,日韩,中文,另类| 婷婷五月天久久久| 熟女人妻精品一区二区视频| 偷拍欧美激情| 国产一区自拍欧美日韩| 97就爱干| 五月丁香婷婷色| 天天综合91入口| 色婷婷影院| 玖玖爱在线视频免费观看| 亚洲欧美一区二区不卡视频播放| 唐山老熟妇露脸啪啪叫| 亚洲一二三四区| 欧美中字二区| www99热| 日韩视频精品在线观看| 国产精品一二三| 久久熟女人| 黄色在线网站| 啊啊啊啊操死我| 欧美亚州色的图| 女同在线视频一区| 干干干天天| 久久这里只精品免费福利| 日韩人妻精品久久久久| 亚洲欧洲激情卡通另类文学四射小说网站 | 91看黄片| 综合网亚| 曰本人妻人人澡人人夹| 国内外毛片在线观看| 国产三级电影免费观看| 综合五月天| 国产熟女少妇一区| 欧美精品成人一区二区在线观看 | 亚洲色图第四色| 99精品成人免费看| 91在线观看,天天综合| 五月综合视频| av三级电影在线播放| 国产男女无套97| 国产精品无码久久久久2028| 日韩特一级久久| 少妇3P性爱自拍| 欧美91在线+|+欧美| 欧美毛片在线网| 天天躁日日躁AAA片李宗瑞| 日韩三级在线观看网站| 亚洲日韩美女丝袜美腿人妻视频| 中文字幕国产| 亚洲乱熟女一区二区三区大香蕉| 亚洲精品99999| 久久AV无码1区2区3区| 精品亚洲国产成人精品| 激情综合色| 免费观看一区| 97超碰久| 欧美激情综合色综合啪啪五月| 欧美 传媒 麻豆 日韩 偷拍| 天天操天天舔| jizzjizz欧美| 亚欧成人综合影院| 国产精品亚洲无码| 日韩三级在线观看网站| 五十路熟女人妻一区二区在线观看 | 99久久网站| 无码日韩网站| 久久精视频美日韩在线视频| 黄色一区二区秘书性感| 亚洲图片色图欧美另类| 成人26uuu| 亚洲AV成人精品网站在AV| 99re免费| 国产精品人妻无码久久久老鸭窝 | 欧美少妇高潮| 国产嫩草精品A88AV| 伊人久大| 91 偷| 99re99| 久久久久久久人妻丝袜| 久久久久97| 欧美精品成人一区二区在线观看| 久久久久幕乱码| 亚洲五月丁香花狠狠干一区二区三区 | 亚洲**2021在线观看| 中日992视频| 久草资源在线视频官方总站日韩丝袜美腿 | 神马九九九| 久久精品日韩专区免费观看| 久久久月天| 人人操人人操人妻人| 600国产精品视频| 777超碰| 国内毛片欧美香蕉精品| 日本国产亚洲一区在线观看| 国产在线强奸视频| 国产精品无码av嫩草| 把腿张开老子CAO烂你| 午夜福利视频在线一区| 亚洲天天做日日做天天谢日日| 精品九九淫乱男| 桃色六月天| 色狠狠综合| 日韩 欧美 视频 在线 一区| 毛片久久| 啊啊啊啊啊好多水| …中文字幕亚洲乱,97人妻无码费视…| 亚洲中文字幕有码视频一区二区三区| 中字乱伦AV| 男人a天堂手机在线版| 欧美黄片欧美黄片xxx| 做爱A级亚欧| 女上位精品在线| 欧美天天影院| 日本精品网站在线中文| 久久久久亚洲| 国产麻豆91欧美一区二区久久婷婷国产精品 | 婷婷五月天av| 97欧美性爱| av强奸乱轮| 婷婷伊人五月| 偷拍亚洲| 日韩熟女精一区二区三区不卡| 中文字幕av一区二区三区人妻少妇 | 精品日韩产品在线,日韩在线不卡视频,欧美日韩免费专区/久, | 日本在线观看网址| 亚洲自拍欧美色综合| 超碰色美女| 亚洲无码超碰免费| 激情看片网站| 国产青视频| 91成人精品| 人人摸人人添人人操| 日韩一级二级三级免费看完整版| 伊人网高清| 高颜值美女口爆高潮浪叫| 日本精品一区二区三| 97丝袜亚洲在线播放| 91精品国久久久久久无码| 97人亚洲综合字幕| 男女91| 国产夫妻一区二区| 天色综合网| 草b在线| 69久久| 国产精品亚洲无码| 久操视频免费在线观看| 玖玖大干人妻| 欧美日韩日产免费网站看| 亚洲 综合 欧美| 90后后入| 丝袜美腿制服人妻二区中文字幕 | 免费精品福利在线观看| 欧美劲爆视频一区二区| 亚洲中文制服诱惑| 狠狠操天天干| 91色黑人少妇| 天天干一干| 国产男人又猛又粗又爽| 国产精品内射婷婷一级二| 欧美三四五区| 成 人 影视 一区 二区 三区 四区 | 人妻夜夜爽天天爽三区麻豆AV网站| 青草精品视频日本久久久久网站在线| 少妇专区一二三四五| 大香蕉青青9| 2017天天透天天通天天擦| 死我十八禁| 午夜噜噜噜| 中文字幕欧美丝袜07资源| 在线日韩日本亚洲国产| 国产丝袜欧美在线视频| 欧美日韩一区二区三区四区蜜桃| 嫩草黄页| 99精品无码| 中文乱码字幕观看| a片久久久久久久久久久久 | 男人天堂久久精品不卡| 青操影院| 最新制服中文第一页| 91香蕉国产尤物视频| 日韩三级伦理中文字幕| 国产成人综合在线播放| 国产亚洲精品美女久久久m| 黄片在线免费在线观看| 精品女人999| 欧美婷婷久久| av橘色网站| 久久天堂| 日本色色色视频| 色播丁香| 骚逼一区二区| 久久精品国产97欧美精品亚洲| 美女啊啊啊啊啊| 亚洲av无码成电影在线播放| 精品区国产区一区二区三区| 欧美.亚洲.另类.丝袜.制服.诱惑| 女一区二区| 亚洲图片偷拍欧美| 欧美激情激情xxxx欧美专区| 国内毛片国产欧美拍| 牛黄色久午久| 97人亚洲综合字幕| 久久网亚洲| 91九九| 多毛小伙内射老太婆| 啪啪91| 干b在线性社区| 哑洲在线| 天天射天天| 久久这里只精品99re66图| 丁香六月激情综合| 中文在线久久字幕| 精品无码一区二区人妻久久蜜桃| 美女高潮国产高清| 久草网站免费在线观看| 四虎 精品 WWW| 舔舔啊| 国产亚洲深夜激情| 色综合久久888| 情侣操 逼视频99| 亚洲毛片基地专区| 黄色性爱网网| 色婷婷蜜臀av| 国产精品诱惑| av一区二区三区四区| 五月天婷婷欧美三区| 黄色一区三区| 91视频精品| 色色激情五月天| 亚洲熟女乱综合一区二区三区 | 啊啊啊啊啊,啊啊啊啊好舒服,操我舒服啊啊啊| 亚洲国产亚洲天堂| 手机看片91人妻| 粉嫩在线一区二区懂色| 91色女| 1024手机看片欧美日韩| 国产操逼网站亚洲一级黄色| 欧美中文字幕日韩在线| 18禁在线视频| 成人乱人伦一区二区| 婷婷久草一区二区三区| 99蜜月精品久久| 人人 操人人 操人人| 精品传媒在线一区| 国产强奸超碰AV| 热久日综合| 国产成人91一区二区三区| 丁香五月综合| 精品丰满熟妇人妻一区| 333kkkk·亚洲com久久| 欧美日韩少妇色情| 亚洲乱码精品一区二区| 人人人人人人少妇| 久久婷婷苹果| 国产小u女在线观看| 麻豆 亚洲 97| 亚川综合视频| 欧美天堂日韩三级国产传媒| dy888午夜老子影视达达兔| 91欧美| 抽插一区二区视频| 欧美顶级黄片AAAAA在线免费看| 97精品国产精品免费观看| 色婷婷六月丁香七月婷婷| 热久久精品| 亚洲综合首页| 欧美性天天影视| 国产精品久久久久久久久久久久| 国产1769在线| 成人日本片久久久蜜桃| 日本护士高潮| 国产精品午夜精品| 欧美日韩操逼嗦吊| 死我十八禁| www.人人cao| 久久久久78| 韩国一级AAA| 久久久久9| 精品一区二区成人| 欧美激情久久久久| 国产浮力影院第1页| 九七毛片九九毛片| 播播亚洲小说亚洲| 91亚.色| 久热无码| 亚洲色人| 第二页中文字幕| 蜜臀AV秘一区翔田千里| 91欧美美女日韩国产婷婷| 亚洲精品尤物yw在线影院| 成人在线视频一区| 欧美午夜一区二区三区| 亚洲双插| 99亚亚热| 国内精品嫩模A∨私拍小视频| 免费人人搞97| 中文字幕一区电影在线观看| 天天综合网合集91| 日韩另类| 日韩一级二级三级免费看完整版| 九九九网页| 影视综合无码少妇| 麻豆人妻少妇在线免费观看| 精品亚洲国产成人精品| 日日骚av| 国产女人成人精品视频| 亚洲美女精品九九视频| 在现视频女上位好爽| 久久精品国产亚洲妲己影视| 欧美成人色| 亚洲aV无码成人在线观看| 青青操国产夫妻| 一区中文字幕二区日韩| 国产久久av| 国产后入式在线观看| 1区2区3区在线视频| 人人看人人插| 亚洲91射| 九九九九九九亚洲| 国产高清在线观看欧美| 1024精品在线| 熟妇熟女一区二三区| 国产女人操逼视频| 亚洲天堂男人网| 日韩 欧美 校园一区| 偷窥自拍A片| 国产一区二区在线播放| 欧美97视频| 婷婷色色五月天| 欧美特大AA级黄片| 91在线国产后入风骚翘臀美女素人| 欧美精品第3页| 激情抓乳插进去啪啪啪日韩| 91综合无码| 成人一道本免费视频| 人妻天堂综合网| 激情综合网五月婷婷| 久久久久国产一区二| 亚洲操人| 懂色AV中文| 色九月综合| 欧美精品三区| 一级久久久久久久久久久| 九九黄色网| 亚洲丝袜诱惑| 亚洲综合网91| 操东北女人| 黄色成人网久久久久久| 91色人妻| A级毛片在线看免费| 人人操人人操人人人操| 中文字幕在线观看永久| 99性爱在线观看| 欧美在线播放aaaa| 美女被艹尤物视频| 国产激情久久| 韩国轻伦国内自拍一区| 日本一天色道久久久精品视频| 97超碰天天| 嗯嗯啊啊啊啊轻点视频| 欧美日韩不卡传媒| 九九九久久久| 日本人妻中文字幕精品| 亚洲成a人在线观看久| 国产AV高清AV无码| 天天日天天色| 久久久久久久久九九久孕交| 日韩午夜国产| 亚洲欧美校园| 97爱b| 日日摸日日弄日日拍| 欧美极品性爱天天射| 人人操天天爽| 野狼福利社区| 五月丁香色综合| 91精品人妻五十路| www.伪伪| 97色涩| 日韩欧美性爱电影在线观看| 婷色五月| 久夜操| 综合欧美日本三级| 偷拍五区| 成在线人在线观看视频| 26uuu偷拍亚洲欧洲综合| 国产亚洲性生活视频播放| 亚洲国产午夜真人一级片中文字幕精品黄网站 | 中文字幕五区| 一区| 精品对白久久不卡| 国产A v无码专区| 久青草影院| 中文字幕久久亚州无码| 超碰97男女| Blackedraw视频一区二区| 麻豆亚洲Av成人无码一区精品| 成人十八禁日韩欧美一二三| 特色a在线上| 日韩激情啪啪| 久久111| 日本色日夜干| 日韩欧美国产高清视频| 刺激性视频黄页| 欧美高清16| 国产精品麻豆视频网站| 精品人妻一区二区三区-国产| 人妖欧美一区二区| 午夜激情成人在线观看| 色综合中文字幕不卡| 激情综合 婷婷五月 红杏| 岛国激情视频软件| 中文字幕精品丝袜| 少妇精品久久| 九九黄色视频在线观看| 国产白丝在线| 欧美真人抽搐一进一出gif| 丁香五月激情五月| 国产深喉| 久久精品国产亚洲AV嘿嘿| 久草婷婷| 久久草草亚洲蜜桃臀| 99热官网| 久久久一区二区三区麻豆| 麻豆色约约| 97人妻免费中文字幕| 天天综合网视频91| 97人肏| 久久久久久亚洲Av无码| 少妇特黄一区二区三区| 亚洲第一页色| 国产强奸AV在线| 欧美91丝袜| 婷婷五月色| 欧美成年人性爱视频免费观看| 啊啊啊啊啊啊啊啊啊啊在线观看| 欧美性生活免费网| 亚洲脚交| 骚乳在线| 妇女性内射冈站HDWWWCOM| 国产97色在线| 60秒免费小视频| 国产又色又粗又黄又爽| 97自拍一区| 啪啪AV导航| 伦在线97| 乱伦AVxx| 久久久久久久久久久精| 一区二区三区高清天码| 亚洲视频二区| 亚州AV无码国产精品| 欧美日韩大陆黑人少妇99| 伊人丁香五月婷婷| 使劲用力艹少妇视频一区二区| 久艹日日日| 密臀在线免费观看| 国产精品永久免费10000| 日韩在线女优天天干| 黄色免费一级在线毛片| 天天干天天日天天射黄色片| 欧美色女人| 欧美综合在线91| 日韩一区二区三区四区五区 | 九九久久一区二区伦理| 欧美在线综合| 中文字幕国产| 国产精品粉嫩福利在线| 中文字幕日本久久| 91日日夜夜| 天天躁日日躁xxxxx| 东北操逼| 99热在线播放| 五月天久久综合网| 99精品无码| 亚洲中文字幕久久人妻| 欧美亚洲韩国视频十五区| 2010男人的天堂| 免费的黄片有限公司| 少好三P| 国产女上位好爽在线| 天天干天天舔| 亚洲素人综合| 夜夜高潮夜夜爽高清视频一| 在线观看亚洲专区| 欧美日韩1234| 五十路熟女工口| 无码自拍SM| 国产乱伦亚洲色图高清无码| 久久精品男人的天堂| 亚洲骚女一区二区三区| 草草影院日本第一页| 青娱乐黄色录像| 久操网在线| 91 在线亚洲| 唐山老熟妇露脸啪啪叫| 亚洲精品久久久久毛片A片拉屎| 97爱b| 十八禁网站在线| 户外裸露刺激视频第一区| 国产精品不卡av免费在线观看| 亚洲综合色在线| 国产夜夜艹| 99性爱视频| 唐山老熟妇露脸啪啪叫| 日本伦乱九九九综合| 中文字幕一区二区三区四五区| 五月天春色激情网| 丁香五月天激情网站| 在线无码网站| 三级日韩一区二区三区| 亚洲高清欧美总合| 伊人在线大香蕉二。| 国产最新AV| 曰韩av中文字幕专区| 亚洲国产精品9999在线观看| 久久有码视频| 一区二区三区 日韩欧美| 人干人人人操人人摸| 亚洲高清无毛一区二区| 黑人精品一区二区在线播放| 十八禁视频一区二区| 天天射天天操天天干天天吃2018 | 中国一级αV| 好色美女九七第一页| 91综合国产精品| 殴美牲| 激情五月天网| 操美女高潮抽搐白浆| 欧美一级A片不卡视频。| 久久精品 六十路 熟女 欧美| 青青色在线观看| 亚洲熟女少妇免费视频| 牛牛久久国产精品视频一二三| 中文字幕少妇色| 中字幕人妻一区二区三区| 韩国三级一线观看久| 91精品微拍福利| 黄片aaaaa一区| 91精品丝袜久久久久久| 玖玖在线视频| 动漫片子网站3黄| 碰超人人在线一区二区三区| 蜜臀aV午夜一区二区三区| 操久久久久| 国产精品白丝在线播放| 国产精品欧美日韩久久| 国产视频不卡在线观看| 日韩人妻精品久久久久| 国产精品91ai| 操老熟女AV| 七月丁香婷婷| 在线强奷到舒服的无码视频|