日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

RK3588同源多任務(wù)調(diào)度:NPU/GPU/CPU協(xié)同,讓多路視覺流穩(wěn)跑不掉幀

RK3588同源多任務(wù)調(diào)度:NPU/GPU/CPU協(xié)同,讓多路視覺流穩(wěn)跑不掉幀 1. “同源”這兩個字才是RK3588多任務(wù)調(diào)度的核心我最早看到“同源多任務(wù)調(diào)度”這個詞的時(shí)候第一反應(yīng)是這不就是多線程嗎RK3588有8個CPU核再配上NPU、GPU、RGA這些協(xié)處理器把任務(wù)丟給不同的核去跑就是調(diào)度有什么好單獨(dú)拿出來講的直到真正在板子上做視覺應(yīng)用被NPU算力瓶頸、GPU管線沖突、以及多路視頻流同時(shí)進(jìn)來時(shí)的資源爭搶反復(fù)打臉之后我才明白“同源”這兩個字的份量。先解釋一下我理解的“同源”。在RK3588上做邊緣AI視覺同一個模型文件比如yolov8的rknn版本可以被加載到三種不同的執(zhí)行后端NPU、GPU、CPU。所謂同源指的是模型權(quán)重、模型結(jié)構(gòu)來自同一個來源但推理任務(wù)可以分發(fā)到不同的算力單元上執(zhí)行。這跟“異源”是兩回事異源往往是不同模型跑在不同芯片上比如用NPU跑檢測、用GPU跑分割、用CPU跑分類而同源是同一份rknn模型在同一個系統(tǒng)里被多路任務(wù)共用NPU跑不過來的時(shí)候GPU兜底CPU再兜底并且這些推理請求由一個統(tǒng)一的調(diào)度器來分發(fā)。這里就有一個很多人會忽略的問題RK3588的NPU雖然是6 TOPS算力但它不是無限并行的。NPU內(nèi)部有3個核心Core官方文檔里寫的“3 TOPs per core”但在實(shí)際使用中3個核心不是隨便就能同時(shí)被不同進(jìn)程打滿的尤其是用了RKNN Toolkit生成的模型默認(rèn)情況下一個應(yīng)用只會占用一個NPU core。如果同時(shí)跑多路YOLOv8檢測NPU core 0可能已經(jīng)100%滿載core 1和core 2還在閑著但你的代碼就是沒讓它們干活。這時(shí)候同源多任務(wù)調(diào)度要解決的第一個問題就是怎么把模型的一路推理請求分發(fā)到不同的NPU核心上并讓它們真正并發(fā)執(zhí)行。我在開發(fā)板上做過一次很直接的對比同一份yolov8s.rknn用單核連續(xù)跑4路RTSP視頻流每路畫面對應(yīng)一個獨(dú)立線程結(jié)果NPU占用率直接頂?shù)?00%GPU和CPU幾乎沒參與平均每幀推理耗時(shí)從16ms飆到45ms視頻開始卡頓改成同源調(diào)度把4路推理請求通過調(diào)度器拆到NPU雙核 GPUCPU做預(yù)處理兜底同樣4路視頻流每幀推理耗時(shí)穩(wěn)定在20ms左右雖然單幀沒有單核單路那么快但整機(jī)吞吐量高了一倍以上。這就是我寫這篇文章的起因。這篇文章面向的是已經(jīng)跑通過RK3588基礎(chǔ)環(huán)境、準(zhǔn)備做多路視覺任務(wù)的開發(fā)者或者正在為“模型在開發(fā)板上跑得太慢”“多路視頻流一來就掉幀”頭疼的朋友。我會把同源多任務(wù)調(diào)度的完整思路、調(diào)度器設(shè)計(jì)、以及我在RK3588上實(shí)測的數(shù)據(jù)和踩過的坑都整理出來重點(diǎn)講清楚三個問題為什么同源能提高整體吞吐調(diào)度器的優(yōu)先級和隊(duì)列怎么設(shè)計(jì)以及雙核NPU并發(fā)和GPU接入時(shí)最容易被忽略的坑。2. 先把四路算力盤清楚NPU雙核、GPU與CPU的實(shí)際承擔(dān)角色在寫調(diào)度代碼之前必須先把RK3588的算力資源摸清楚。我見過不少人犯同一個錯誤把所有AI推理全部丟給NPU然后把NPU跑滿之后剩下的活兒丟給CPUGPU完全閑置。這樣不算調(diào)度只能叫“讓NPU硬扛”。2.1 RK3588算力架構(gòu)里真正能跑模型的單元有哪些RK3588的關(guān)鍵算力單元是這幾塊6 TOPS NPU3核單核約2 TOPSMali-G610 MP4 GPU4核支持部分通用計(jì)算但生態(tài)不如NPU成熟4個Cortex-A76大核 4個Cortex-A55小核2個RGA圖像處理加速單元可以做縮放、格式轉(zhuǎn)換、鏡像等這里要特別說明一下RGA。它不是跑AI模型的但它承擔(dān)了預(yù)處理圖像resize、crop、顏色空間轉(zhuǎn)換這些臟活。我們做視覺任務(wù)時(shí)模型輸入往往是640x640或320x320而攝像頭輸入是1920x1080或2688x1520如果不經(jīng)過RGA直接用CPU做resizeCPU占用率會高得離譜。同源多任務(wù)調(diào)度中我把RGA當(dāng)作獨(dú)立的“第5路算力”來規(guī)劃它不參與推理但參與整個pipeline調(diào)度器必須給RGA任務(wù)預(yù)留帶寬。GPU在RK3588上跑AI模型的選擇不多。RKNN Toolkit生成的模型可以直接跑NPU但GPU推理需要走OpenCL。我實(shí)測過用GPU跑yolov8s的rknn轉(zhuǎn)onnx再轉(zhuǎn)OpenCL的方案單幀推理時(shí)延大概在35~50ms比NPU單核16~25ms慢不少但在NPU滿載時(shí)GPU可以作為次級執(zhí)行端把積壓的任務(wù)消化掉。這里要提醒一點(diǎn)GPU在RK3588上和顯示共用一套資源如果上面還跑著QT界面或HDMI輸出GPU做AI推理會拖累顯示性能所以在調(diào)度器里GPU執(zhí)行端的優(yōu)先級必須低于NPU并且要設(shè)置任務(wù)超時(shí)。CPU的A76大核就更好理解了。RKNN推理在CPU模式下其實(shí)不是直接跑模型而是用RKNN的模擬層去執(zhí)行速度很慢我實(shí)測yolov8s在A76上單幀推理要150~250ms基本只能做兜底。但CPU在調(diào)度器里的角色不止推理它還負(fù)責(zé)視頻解碼、圖像預(yù)處理、調(diào)度邏輯、以及部分后處理比如NMS、目標(biāo)跟蹤關(guān)聯(lián)。所以調(diào)度器給CPU分配任務(wù)時(shí)要區(qū)分“推理任務(wù)”和“非推理任務(wù)”。2.2 算力分工的指導(dǎo)原則慢設(shè)備不能拖垮快設(shè)備設(shè)計(jì)調(diào)度器之前我給自己定了一條原則每一類任務(wù)都有一個“主執(zhí)行端”和一個“備執(zhí)行端”主執(zhí)行端跑不過來時(shí)才降級到備執(zhí)行端。這就像一條高速公路NPU是主車道GPU是應(yīng)急車道CPU是輔路不能一上來就把所有車都堵在輔路上。我的分配策略如下任務(wù)類型主執(zhí)行端備執(zhí)行端適用場景YOLOv5s/v8s檢測NPU Core 0/1GPU / CPU多路RTSP實(shí)時(shí)檢測輕量分類模型小于20MBNPU Core 2CPU A76人體屬性、車輛顏色圖像縮放/格式轉(zhuǎn)換RGACPU NEON所有視頻幀預(yù)處理后處理NMS/跟蹤C(jī)PU A76CPU A55所有檢測結(jié)果過濾分割類模型GPUOpenCLNPU Core 2慢速場景不要求實(shí)時(shí)我一再強(qiáng)調(diào)“同源”就是因?yàn)橥粋€模型在NPU、GPU、CPU上都有一份執(zhí)行上下文調(diào)度器才能在這三者之間自由切換任務(wù)。如果模型只部署到NPU那GPU和CPU根本沒資格接任務(wù)說什么調(diào)度都是空話。3. 一個真正能跑起來的同源調(diào)度器請求隊(duì)列、優(yōu)先級與線程池我最初想得很簡單寫一個全局任務(wù)隊(duì)列NPU空閑就丟給NPUGPU空閑就丟給GPU。但跑起來之后發(fā)現(xiàn)判斷“空閑”本身就很困難而且RKNN推理是阻塞式API一個線程在調(diào)用rknn_run的時(shí)候其他線程看不到它的“忙閑”狀態(tài)只能通過互斥鎖硬等。這會導(dǎo)致一個嚴(yán)重問題一個線程在NPU上跑推理時(shí)另一個線程即使想用NPU的另一個核也被同一把鎖擋住了。3.1 RLS調(diào)度器的核心設(shè)計(jì)后來我設(shè)計(jì)了一個輕量級的RLSRequest-Level Scheduler模塊它不修改RKNN底層驅(qū)動只在應(yīng)用層做請求分發(fā)。核心數(shù)據(jù)結(jié)構(gòu)是這樣typedef struct rk_aiot_request { uint32_t req_id; // 請求ID自增 const char *model_name; // 模型標(biāo)識同源模型共用 int task_type; // 0detect 1classify 2segment int priority; // 0最高3最低 uint64_t arrival_ts; // 請求到達(dá)時(shí)間 uint64_t deadline_us; // 期望完成的時(shí)間上限 int exec_target; // 分配結(jié)果0NPU0 1NPU1 2GPU 3CPU void *input_data; // 輸入幀指針 void *private_ctx; // 模型上下文指針 struct rk_aiot_request *next; } rk_aiot_request_t;每個請求從視頻流線程進(jìn)來之后先進(jìn)入全局請求隊(duì)列調(diào)度線程每隔5ms做一次批量分發(fā)。這里的優(yōu)化點(diǎn)是批量分發(fā)比逐個分發(fā)吞吐高得多。我實(shí)測過調(diào)度線程每5ms輪詢一次4路視頻流ping-pong式發(fā)請求比每來一幀就立刻調(diào)度一次CPU占用率降低了12%因?yàn)闇p少了線程切換和鎖競爭。分發(fā)邏輯不復(fù)雜但優(yōu)先級策略值得展開說priority 0人機(jī)交互類比如觸摸屏點(diǎn)擊框選目標(biāo)必須立刻響應(yīng)直接插隊(duì)到NPU Core 0。priority 1實(shí)時(shí)檢測類比如視頻流里的入侵檢測要求幀率大于15fps分配到當(dāng)前負(fù)載最低的執(zhí)行端。priority 2上報(bào)類比如每隔幾秒做一次車流統(tǒng)計(jì)不要求實(shí)時(shí)放到低優(yōu)先級隊(duì)列等NPU或GPU閑下來再執(zhí)行。priority 3后臺離線分析比如抓拍圖片入庫前的屬性分析直接放到CPU A55執(zhí)行幾乎不影響主流程。3.2 任務(wù)動態(tài)分發(fā)其實(shí)最難的是“下次別走錯門”分發(fā)到哪個執(zhí)行端不能只看當(dāng)前負(fù)載還得看“上一次這個模型在哪個端執(zhí)行”。這里面有個性能陷阱RKNN模型上下文在NPU上需要8~30ms的初始化時(shí)間但上下文建好之后同一份上下文的重復(fù)推理非???。如果你的調(diào)度器每次都把一個任務(wù)分發(fā)到不同的執(zhí)行端那就等于每次都要重新做上下文初始化性能不升反降。所以我在調(diào)度器里加了親和性策略每個模型維護(hù)一個“最近執(zhí)行端”的字段新請求到達(dá)時(shí)優(yōu)先嘗試最近執(zhí)行端只有當(dāng)最近執(zhí)行端的待處理隊(duì)列超過閾值比如隊(duì)列里積壓了超過3個請求才把新請求分發(fā)給其他執(zhí)行端。這就好像一個人干活手里的活兒沒堆積完就別打斷他換了別人來又要重新熟悉工具。我在4路視頻流上實(shí)測時(shí)這個親和性策略對吞吐的貢獻(xiàn)非常大。沒有親和性時(shí)系統(tǒng)每秒鐘能處理約20幀4路每路5fps加上親和性每秒能處理28~32幀。原因就是上下文初始化的開銷被攤薄了NPU執(zhí)行端大部分時(shí)間在做純推理而不是重建上下文。4. 雙核NPU并發(fā)與RKNN異步標(biāo)志跑yolov8實(shí)測的數(shù)據(jù)變化要說RK3588同源多任務(wù)調(diào)度里最核心的實(shí)戰(zhàn)環(huán)節(jié)就是把同一份yolov8模型加載到NPU的兩個核上并發(fā)執(zhí)行。RKNN官方SDK從RKNN Toolkit 1.6開始支持NPU Core的分配控制很多人不知道這個特性把兩個NPU核當(dāng)成一顆用等于浪費(fèi)了一半算力。4.1 RKNN_FLAG_ASYNC_MASK 與 zero-copy 的配合加載模型時(shí)需要設(shè)置RKNN的flag和核心掩碼。下面是我在C環(huán)境里用的關(guān)鍵配置// 創(chuàng)建RKNN上下文 rknn_context ctx_npu0; rknn_context ctx_npu1; // 分別加載同一份rknn模型到兩個上下文 rknn_init(ctx_npu0, model_data, model_size, RKNN_FLAG_ASYNC_MASK, nullptr); rknn_init(ctx_npu1, model_data, model_size, RKNN_FLAG_ASYNC_MASK, nullptr); // 通過set_core_mask把這兩個上下文綁定到不同NPU核 uint32_t core_mask_0 1; // core 0 uint32_t core_mask_1 2; // core 1 rknn_set_core_mask(ctx_npu0, core_mask_0); rknn_set_core_mask(ctx_npu1, core_mask_1); // 推理時(shí)使用異步標(biāo)志 rknn_run(ctx_npu0, inputs, outputs, RKNN_FLAG_ASYNC_MASK); // 同步等待結(jié)果 rknn_wait(ctx_npu0, outputs);注意這里有個大坑rknn_init同一個模型文件兩次等于在NPU上創(chuàng)建了兩份權(quán)重副本。如果你的模型文件是80MB兩份就是160MBDDR要能扛得住。yolov8s的rknn模型大約40~50MB兩份大概100MB對RK3588的8GB內(nèi)存版本沒問題但4GB版本就會緊張。后面我會單獨(dú)講權(quán)重復(fù)用的問題。4.2 yolov8s在四種執(zhí)行模式下的實(shí)測數(shù)據(jù)我使用baseline rknn的yolov8s模型輸入640x640做4路RTSP視頻流的人體檢測對比了四種執(zhí)行方案。這里把實(shí)測數(shù)據(jù)放出來執(zhí)行方案平均單幀推理耗時(shí)4路總幀率NPU占用率整機(jī)CPU占用率備注單上下文單核串行42ms約10fpscore0 100%35%最容易寫的代碼但掉幀嚴(yán)重雙上下文雙核無調(diào)度器26ms約15fpscore0/core1各60~70%48%提升明顯但有任務(wù)積壓雙上下文雙核調(diào)度器20ms約20fpscore0/core1各75%41%調(diào)度器把負(fù)載壓得非常平雙核NPU GPU兜底18ms約24fpscore0/core1各80%GPU 30%52%整體吞吐最高但功耗也最高需要說明這里的“平均單幀推理耗時(shí)”是4路視頻流里的平均單幀延遲不是單路獨(dú)占時(shí)的推理延遲。單路獨(dú)占時(shí)yolov8s在RK3588 NPU上大約16~18ms這個大家應(yīng)該都比較熟悉。從數(shù)據(jù)能看出雙核并發(fā)不是簡單地把單核翻倍因?yàn)檫€有輸入排隊(duì)、內(nèi)存拷貝、后處理這些開銷。再加上調(diào)度器之后收益的一部分來自負(fù)載均衡另一部分來自親和性策略減少了上下文切換。GPU兜底帶來的吞吐提升只多了4fps但CPU占用率直接從41%漲到52%因?yàn)镺penCL路徑需要CPU做大量內(nèi)存搬運(yùn)。于是我在實(shí)際部署時(shí)默認(rèn)關(guān)掉GPU兜底只在NPU過載時(shí)動態(tài)開啟。4.3 一個容易誤判的現(xiàn)象異步標(biāo)志不是開了就“真異步”RKNN的RKNN_FLAG_ASYNC_MASK這個標(biāo)志名字里有“ASYNC”但我用了很久才摸清它的脾氣。它解決的不是“調(diào)用線程不阻塞”而是“NPU執(zhí)行過程中CPU可以繼續(xù)做別的事”。如果你在rknn_run之后立刻調(diào)用rknn_wait那其實(shí)和同步執(zhí)行沒區(qū)別CPU還是會等著。真正的異步用法是發(fā)起rknn_run之后CPU馬上去處理上一批已經(jīng)完成的推理結(jié)果然后再回來rknn_wait當(dāng)前這一批。我在調(diào)度器里把這種“流水線”思路落實(shí)成三塊緩沖區(qū)緩沖A正在NPU上推理緩沖B正在做后處理緩沖C正在被視頻流線程填充輸入數(shù)據(jù)。三個區(qū)互不重疊CPU、NPU、解碼器才能并行起來。這也是我覺得“同源多任務(wù)調(diào)度”里最有工程價(jià)值的部分不是調(diào)度器本身多復(fù)雜而是它把RK3588的每個算力單元都當(dāng)成一個獨(dú)立的流水線級來用同一份模型在算力鏈路上從頭到尾沒有真正的空閑等待。5. 上下文復(fù)用時(shí)最容易踩的坑權(quán)重拷貝、NPU句柄與CPU線程綁定這部分是實(shí)打?qū)嵉慕?jīng)驗(yàn)匯總。同源多任務(wù)調(diào)度最大的優(yōu)勢是“同一份模型多端復(fù)用”但也正因?yàn)閺?fù)用會踩到一些單模型部署時(shí)永遠(yuǎn)不會出現(xiàn)的問題。5.1 兩次rknn_init等于雙倍權(quán)重拷貝4GB板子怎么辦如果你的開發(fā)板內(nèi)存是4GB版本一定要謹(jǐn)慎使用“創(chuàng)建兩套上下文”的方式。我在8GB板子上做雙核NPU并發(fā)沒覺得內(nèi)存緊張后來換到4GB板子測試一個yolov8s.rknn加載兩份系統(tǒng)可用內(nèi)存直接從900MB掉到300MB再疊加4路視頻流的緩沖直接觸發(fā)OOM進(jìn)程被殺掉重啟。解決這個問題有兩個方向。第一個方向是改用RKNN Toolkit Framework的Zero-Copy功能讓兩個上下文盡可能共享模型權(quán)重段但RKNN底層對零拷貝的支持和模型結(jié)構(gòu)相關(guān)不是所有模型都能吃到紅利。第二個方向更通用4GB板子上不要做“兩份NPU上下文”改成一個上下文調(diào)度器強(qiáng)制串行另一個模型跑GPU或CPU。實(shí)驗(yàn)數(shù)據(jù)告訴我4GB板子上雙NPU并發(fā)的內(nèi)存壓力遠(yuǎn)大于吞吐收益不如混合執(zhí)行端方案劃算。5.2 npu句柄的線程安全問題別跨線程亂調(diào)rknn_apiRKNN官方文檔不太強(qiáng)調(diào)這件事但我把血淚史寫在這里同一個rknn_context的rknn_run和rknn_wait不能在不同的線程里并發(fā)調(diào)用。我最初想用“一個線程把輸入丟進(jìn)rknn_run另一個線程立刻rknn_wait”的方式提高吞吐結(jié)果跑了一個多小時(shí)系統(tǒng)隨機(jī)報(bào)RKNN_ERR_PARAM_INVALID有時(shí)候直接段錯誤。后來查了SDK源碼才發(fā)現(xiàn)rknn_context內(nèi)部的命令緩沖區(qū)不是線程安全的。正確做法是每個執(zhí)行上下文綁定一個專屬工作線程比如NPU0上下文只被線程A調(diào)用NPU1上下文只被線程B調(diào)用調(diào)度器通過隊(duì)列把請求投遞給對應(yīng)線程而不是直接跨線程調(diào)API。這樣一來RKNN調(diào)用全部單線程化吞吐靠多個執(zhí)行端并行撐起來而不是靠單執(zhí)行端內(nèi)多線程并發(fā)。5.3 CPU側(cè)的線程綁核實(shí)時(shí)性提升比想象中大我在跑調(diào)度器時(shí)把后處理線程綁到A76大核CPU 4~7把視頻解碼線程綁到A55小核CPU 0~3這樣大核不會被解碼中斷打攪小核也不會因?yàn)榕芎筇幚矶D。用pthread_setaffinity_np做綁核代碼很簡單cpu_set_t cpuset; CPU_ZERO(cpuset); CPU_SET(4, cpuset); // 綁定到CPU4A76大核 pthread_setaffinity_np(pthread_self(), sizeof(cpuset), cpuset);實(shí)測效果調(diào)度線程的響應(yīng)波動從±8ms下降到±2ms。這個優(yōu)化其實(shí)不復(fù)雜但在多任務(wù)調(diào)度系統(tǒng)里特別管用因?yàn)檎{(diào)度器如果自身抖動過大后面所有執(zhí)行端的負(fù)載估計(jì)都會失真。6. 路由策略與內(nèi)存占用同源多任務(wù)比“一模型一進(jìn)程”到底省在哪最后聊一個很多人忽略的問題既然多任務(wù)調(diào)度這么麻煩我能不能簡單粗暴一點(diǎn)每路視頻流起一個獨(dú)立進(jìn)程每個進(jìn)程獨(dú)立加載一份模型互不干擾答案是可以但代價(jià)非常大。我做過對比測試4路視頻流每路一個進(jìn)程每個進(jìn)程各加載一份yolov8s.rknn總內(nèi)存占用從單進(jìn)程調(diào)度方案的約650MB漲到約1.6GB。多出來的這1GB就是四個進(jìn)程各自持有的模型權(quán)重、RKNN內(nèi)部緩沖區(qū)、以及重復(fù)的預(yù)處理中間結(jié)果。在同源多任務(wù)調(diào)度方案里模型權(quán)重只保留一份公共副本各路任務(wù)通過調(diào)度器共享同一份模型上下文只有輸入輸出緩沖區(qū)和后處理結(jié)果是各自獨(dú)立的。這在大內(nèi)存場景下不算致命但在邊緣設(shè)備上內(nèi)存每多出1GB就意味著散熱、功耗、穩(wěn)定性全面受影響。調(diào)度器的路由時(shí)機(jī)也非常重要。我的原則是調(diào)度決策要在預(yù)處理之前而不是推理之前。幀從攝像頭抓進(jìn)來后先根據(jù)當(dāng)前各執(zhí)行端的負(fù)載決定這幀交給NPU、GPU還是CPU然后再做對應(yīng)的輸入格式轉(zhuǎn)換。如果等預(yù)處理完再決定一旦發(fā)現(xiàn)NPU忙要轉(zhuǎn)給GPU就得重新做一次格式轉(zhuǎn)換白費(fèi)功夫。這個細(xì)節(jié)讓我的整體pipeline延遲降了約3ms/幀。再補(bǔ)充一個我自己覺得很有用的收尾技巧把調(diào)度器的狀態(tài)導(dǎo)出來通過串口或者日志定期打印一張“各執(zhí)行端任務(wù)分布圖”包含每個端已經(jīng)處理的總請求數(shù)、當(dāng)前隊(duì)列積壓數(shù)、平均處理時(shí)延。初期調(diào)優(yōu)時(shí)我在RK3588上同時(shí)跑兩路模型任務(wù)一張4路視頻流的調(diào)度拓?fù)鋱D就能很快看出哪一路在偷懶、哪一路過載。這類診斷信息用RKNN自己的profiler很難直接拿到因?yàn)閜rofiler只關(guān)注單模型的NPU執(zhí)行細(xì)節(jié)不管應(yīng)用層的請求分發(fā)。7. 關(guān)于RK3588調(diào)試流程和固件版本的一些提醒調(diào)度器寫完能不能跑其實(shí)還取決于你板子上的環(huán)境和固件。我調(diào)試RK3588的過程中遇到過幾次特別困惑的事代碼沒問題但NPU推理結(jié)果一直不對后來發(fā)現(xiàn)是固件里的NPU驅(qū)動版本太老和RKNN Toolkit生成的模型版本不匹配。這類問題很難靠看日志定位因?yàn)楦骷议_發(fā)板的系統(tǒng)鏡像版本五花八門有時(shí)候同一個RKNN版本在不同板子上表現(xiàn)都不一樣。我現(xiàn)在的做法是上車第一件事先確認(rèn)四樣?xùn)|西NPU驅(qū)動版本dmesg | grep rknpu或者直接cat /sys/kernel/debug/rknpu/versionRKNN Toolkit版本跟模型轉(zhuǎn)換環(huán)境嚴(yán)格對應(yīng)不要在PC上用了新版轉(zhuǎn)換板子上還跑老版runtime系統(tǒng)鏡像版本強(qiáng)烈建議用開發(fā)板廠商提供的最新官方固件自己裁剪的內(nèi)核有時(shí)會把RKNPU的dts節(jié)點(diǎn)配置錯內(nèi)存帶寬壓力跑業(yè)務(wù)時(shí)用perf或top盯著CPU使用率如果整機(jī)CPU一直處于80%以上先查是不是解碼和RGA擠占了NPU的DDR帶寬電源也是個大坑。RK3588在NPU滿載GPU滿載4路視頻解碼同時(shí)工作時(shí)功耗上得很快。我用的開發(fā)板在12V 2A供電下整機(jī)高負(fù)載跑10分鐘就會觸發(fā)降頻NPU頻率從1.0GHz掉到0.7GHz推理時(shí)延大幅增加。后來換成12V 3A電源穩(wěn)態(tài)功耗才穩(wěn)住。電源不足導(dǎo)致的“假性卡頓”容易被誤判成調(diào)度器問題排查時(shí)要先排除。從我的經(jīng)驗(yàn)看RK3588作為一塊邊緣AI開發(fā)板性能和靈活性在同類設(shè)備里是第一梯隊(duì)。但“算力”和“實(shí)際能用的算力”之間隔著系統(tǒng)、驅(qū)動、調(diào)度器、內(nèi)存管理這一堆工程問題。同源多任務(wù)調(diào)度不是銀彈它解決的是多路任務(wù)共享同一份模型資源時(shí)的調(diào)度效率問題如果你的業(yè)務(wù)只有一路視頻流老老實(shí)實(shí)單核NPU跑就是最優(yōu)解。但只要有超過兩路的視覺任務(wù)進(jìn)來這個調(diào)度器思路的價(jià)值就會立刻體現(xiàn)出來。希望這篇文章能幫你少走我之前走過的彎路。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产精品宅男免费| 国产黄色小视频网站| 999久久久国产精品| 黄色香蕉视频网站一区| 九色在线熟女国产黑人| 99e久久国产精品| 91九色精品熟女内射| 欧美伦乱爱| 97在线视频观看| 婷婷久久五月| 无码国产精品久久久久| 777超碰| 男人的天堂三级| 91狠婷| 欧州激情视频在线一区二区| 91爱综合| 亚洲男人电影天堂| 99爱精品| 91美女片在线| 狠狠干综合| 精品日日人妻| 啊啊啊啊啊舒服| 亚洲码和欧洲精品激情系列| 99只有精品| 三级日韩一区二区三区| 久草男人天堂| 日韩一级成人毛片免费观看 | 中文字幕片| 亚洲成成熟女人综合一区二区| 91美女视屏| 97伦综合| 日本免费不卡二区| 人妻少妇久久| 凹凸精品熟女在线观看| 好湿好紧视频| 日韩97| 青青免费在线视频一区| 日韩黄片影院| 少妇免费视频| 人妻久久| 精品一区二区三区四区女| 日本污ww视频网站| 久9热| 四虎影视国产精品| AA丁香综合激情| 后入福利| 99热99色| 少妇一区二区三区| 久久99国产综合精品女同| 久久三区四区| 亚洲天堂情色| 色色色色网站| 五月丁香激情四射| 97超碰精品图片| 91成人在线| 欧美特大黄一级片片免费| 一本道综合色图| 免费一级毛片在线视频观看| 日韩精品亚洲一二三| 五月天色五月| 国产一区96在线| 日韩十八禁| 91无人区卡一卡二卡三乱码入口最新版:能让用户有更多选择的选择-经典说说-爱 | 日韩乱伦视频| 人人操人人肉久久精品| 亚洲国产欧美日韩精品一区二区三区,国产一区二区三区在线看片,欧美性猛交 XXX | av一区二区三区四区| 本道在线| 天干天干天干天天做| 日韩无码成人电影| 亚洲啪AⅤ永久无码| 中文字幕午夜精品久久久| 婷婷亚洲天堂| 中日韩欧美精品无码AⅤ一区二区| 78超碰| 九九九九免费| 一区e区三| 日本三级久| 亚洲97网站| 亚洲色婷婷久久91| 丰满岳乱妇一区二区三区| 岛国AB视频| 超碰是碰在线观看| 国产精品久久久久久久久久梁医生| 亚洲欧洲av影音| 东京热不卡视频| 口爆综合网| 26uuu国产亚洲综合| 久久久久96| 亚欧美天堂在线| 这里只有精品视频| 国产一区二区三区影片| 亚洲无码太久| 亚洲色婷婷久久91| 热热色国产一二区AV| 精品久久久中文字幕不| 狠狠色丁香| 韩日无码在线观看| 国产AV激情无码久久无码 | 天天干夜夜| 天天天肏屄欧美| 抽插无码高清一区| 精品日韩中文在线| 男人的天堂 在线一区| 新视频sss国产| 色97| 日韩AV电影网站| 亚洲情色中文字幕一区| 国产av又色又爽又黄| 久久精品国产欧美日韩亚洲欧美日韩中文久久国产一区 | 亚洲一欧洲中文字幕在线| 日韩熟女操逼| 久久久久九九九| 视频黄站| 欧美97视频| 欧美精品久久96人妻无码| 精品人妻1237| 97 超碰 人人做 人人爱| 久久久新亚洲AV| 国产精品日韩在线一区| 夜夜嗨一区二区| 亚洲欧美91√| 伊人操| 国产欧美日韩一区二区三区| 欧美一二三区四五区| 国产精品亚洲天堂网址| 日本青青草在线| 人妻少妇久久久| 欧美亚洲国产日本在线,久久精品国产| 一线黄色免费性爱片| 久久精品视| 色噜噜国产精品视频一区二区| 澳门黄片一香蕉视频| 少妇 综合| 色婷婷六月丁香七月婷婷| 免费无码婬片AAAA片直播色戒| 91性网| 伊人国产AV| 黄色成年| 加勒比综合在线| 中文字幕视频二区| 操逼逼中文字幕| 十八禁的黄污污免费网站| 乱伦3P视频| 日韩成人网址| 欧美激情亚洲色图| 性爱欧美五月| #NAME?| 看一级黄色视频| 久久9精品网站| 先锋激情∨在线视频播放| 一二视频神马久久传媒| 午夜福利免费福利视频| 激情图片亚洲色图| 超碰午夜| AV乱伦专区| 国产精品国产| 福利天堂| 欧美特大黄一级片片免费| 欧美性爱一区二区三区| 欧美色图91| 操逼网站地址| 欧美一级美片在线观看免费| 三级激情网站| 国产精品无码av| 综合网色| 亚拍在线| 亚洲欧美高清无码| 午夜精品探花| 美女黑人91神马| 欧美色老汉| 日韩欧美亚欧在线视频| 国产Av超碰| 久久精品夜色国产亚洲AV| 欧美激情中文字幕另类小说| 女优视频第10页| 日韩不卡码| 欧美成97爱| 欧美线天码中字| 国产 丝袜 欧美中文 另类| 人妻少妇久久中文字幕一区二区 麻豆 | 亚洲综合码| 久久春色| 国产精品麻豆成人av| 欧美老熟另类| 秋霞一集毛片观看| 久热热| 国产极品精品美女视频| 盗摄女人妻在线| 波多野42部激情无码喷潮| 国产一区在线看| 99中文字幕| 国产精品肉丝自拍| 亚洲综合另类| 伊人青青草久久| 欧亚日韩中文在线| 九九激情网| 撸撸成人在线视频| 国产亚洲色停停久久99精品91| 国产亚洲精品第一最新| 美女丝袜激情小说| 欧美黄色大片在线观看| 色色五月婷婷| 女生91网站| 中文字幕黄色片| 欧美999999| 自拍偷拍草一草| 中文字幕 一区二区 亚洲无码| 日韩av免费一级电影| 亚洲中文字幕在现观看| 淫荡少妇免费| 日韩一级免费性爱| 97精品国产97久久久| 天天看人人操屄犊摸阴| 欧美大战久久久伊人| 综合在线导航一区| 97日视频| 亚洲AV免费在线| 成人免费不卡在线视频| 丝袜视频网国产90| 3P丝袜熟女 色综合| 粉嫩久久久极品| 国产高清视频无码在线| 欧美十八禁在线看| 欧美女同在线| 精产国品一区二三产品| 久操| 中文字幕精品资源在线| 一区二区三区在线日韩影院观看| 爆操无码| 日逼97| 亚洲Av无码成人精品国产| 91美女视频在线免费观看| 色吧 综合| 天天干天天日天天射黄色大片| 美女诱惑一区| 日韩人妻无码精品系列| 国产日韩在线播放| 久久久久夜夜夜夜| 狠狠图片青青草| 最新国内自拍av免费| 五月天亚洲色图| 一级啊性爱在线视频| 国产美女口爆吞精| yaouchengrenav| www.婷婷| 欧美日韩色| 91丨九色丨国产丨人妻在线 | 日本97久久久精品| 啊啊啊啊好疼视频| 亚洲av性爱电影| 国产男女无套97| 午夜精品久久久久久久| 熟女被操视频网址| 啊啊啊啊好疼| 影音先锋中文字幕日本好一区二区| 91亚.色| 亚欧洲一区二区视频| 国产三级多多影院2022国产AA一级毛片无码| 欧美激色| 搡老女人老妇女老妇老熟女怎么读| 啪啪性爱免费视频| 久久久精选| 欧美亚洲丝袜美女电影| 亚洲精品美女久久久久久久久| 97亚洲在线| 亚洲视频二区| 韩国女主播青草福利视频| 强奸乱伦亚洲第一页| 亚洲男人天堂2| 看一级黄色视频| 热99这里有精品综合久久| 欧美久久人妻少妇一区二区| 裸体美女久久久| 乱伦熟女区| 青青草好吊色| 国产超碰国产97| 97天天操| 人妻无码后入| 黄片直播三级黄片两女一男| 人妻熟女一区二区三区在线| 中文字幕精品乱码| 亚洲综合欧美| 久久25| 黄片无码在线制服| 男人天堂欧美| 手机看片91人妻| 日本伦理一区二区| 亚洲麻豆精品二区三区| 欧美日韩午夜精品一区二区三区| 成人线上超碰| 国产欧美另类久久久精品课程| 殴美牲| 亚欧性爱ab| 粉嫩av在线| 亚洲清纯综合| 中文熟女五十乱码在线| 中文字幕乱偷人妻久久艾草网| 国产精品九9| 99色综合| 欧美成人精品A片免费一区99| www.av在线观看| 欧美经典一区二区三区| 日韩熟女乱伦中出| 欧美日本国产日韩激情视频| 无码av永久免费专区网站| 伊人影院在线理论播放| 双插性欧美一二三区| 九九综合九九综合| 久久AV无码AV| 青青草大香蕉视频| 中文字幕一品色图| 少妇贴图| 日韩淫色网| 色汉综合| 男人的天堂Va| 亚洲人精品久久久| 国产精品女aA片爽爽视频| www.91色| 国产91 丝袜在线播放00-百度| 91丝袜激情在线| 乱伦图av| 一级AV性爱| 中文字幕日韩专区精品系列 | 亚洲AV免费在线| a'v在线资源| 精品少妇高潮久久| 亚洲精品久久久久毛片A片拉屎| 青青草在线成人视频| 精品大久久| 少妇国产不卡| 澳门人妻久久| 欧美大片一区二区三区| 欧美性五月| 校园春色 亚洲| 天天干天天日天天射黄色| 四虎精品一区| 欧美懂色综合网| 翔田千里AV无码秘 三区| 色哟哟 日韩精品| 久热婷婷| 欧美高清18A片| 日本人妻丰满熟妇久久久久久| rion磁力链接| 制度丝袜99| 日韩激情中文字幕有码| 人妻啊啊人妻啊啊| www.AV有限公司一区| 日本久久999| 女上位精品在线| 欧美大色交| 欧美色97| 人妻一区二区三区四区视频| 不卡啪啪视频| 色爱欲亚洲| 中文日韩欧美熟| 性色亚洲| 91人人臊| 97久久超碰国产网站| 懂色av中文字幕| 亚洲色图图片| 天天干人人干天天日97| 欧美熟妇视频| 9久精品| 少妇一区二区三区| 天天操av懂色| 9色在线| 亚州综合色| 老女人综合网| 不卡九肏| 欧美亚男人的天堂| 一级特黄aaa大片在线观看成人一级片在线观看| 国产视频小说| 中文三一区| 国产精品第一区第一页| 蜜桃色色网站视频三区| 熟妇熟女亚洲天堂网| 亚洲五月天激情| 青青草吊丝| 免费网站观看www在线观| 成人精品一区二区91毛片不卡| AV在线资源| 大香蕉伊在线久草麻豆天堂故事| 日韩人成网站在线播放| 亚码激情| 六月色色| 中文字幕精品三级久久久| 97在线日韩中文字幕| 蜜臀久久一区二区| 97天天在线| av天堂电影网| 国内精品伊人久久久久影院会| 黑丝日韩av丝袜av| 搡老女人老91二区| 日韩草久视频| 97在线视频网站| 久操网址| 日韩天天本| 强奸抽插av| 中文啪啪视频| 91精片| 免费人成?大片在线播放| 久久久久ab| 无码人妻毛片丰满熟妇精品区| 精品妇女一区二区三区| 色婷婷激一区二区三区| 久99热| 在线观看综合精品亚洲| 麻豆a'v电影| 婷婷在线精品| 午夜一级免费毛片| 素人一区二区三区日韩| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | 日本女人操逼| 亚洲影院小综合| 欧美色图第一页| www.99视频| 激情在线青青操| 五月丁香啪啪啪| 超碰97国产欧美| 熟妇熟女视频一区二区三区| 色欧美综合| 欧美色棕合| 我要色综合网| 亚洲少妇在线影音| 秋霞午夜成人福利片片| 色爱综合网| 探花精品视频| 看免费一级在线播放毛片| 亚洲图片视频小说| 国产农村妇女毛片精品久久| 中国一级αV| www.色婷婷| 97干在线视频| 天操老女人| 97视频新免费| 不卡九肏| 亚洲五月丁香花狠狠干一区二区三区| 人妻人人做人人澡人人爽欧美一区| 97网址www| 97热视频在线观看| 女人天堂AV五区在线| a片 xxxx受爽视频| 久久这里只精品免费福利| 91丨九色丨43老版熟女| 精品九九| 日本韩国一本产品小视频日本韩国一本产品久久久产品小视频日本韩国一本产品久 | 欧美日产国产在线成人第一区| 99这里都是精品| 欧美精品,四区。五区| 99国产在线 精品 视频| 久热婷婷| www色日本| 国产欧美伊人| 天天看精品动漫视频一区| 日韩精品人妻| 九X超碰| 久久久久久久久久久久久久久性生活视频| 国产免费小视频| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 国产高清不卡视频| 国产精品一级毛片不卡视| 天天综合网亚洲综合网| 国产精品ⅴ无码大片在线看.| 在线一区| 久区视频| 中文字幕一区二区视频在线观看| 国产日韩欧美操逼视频| 久久亚洲不卡一区二区三区| 精品国产综合久久福利,热99这里有精品综合久久,99热这里只有免费国产精品,精 | 91bbb| 99久久国产精品免费高潮| 在线亚洲 欧美 日本专区| 人人摸人人添人人操| 久久久久9| 国产欧美日韩女同性恋ww喷水精品 | 国产成年女黄特黄| 国产又色又爽又舒服的三级视频| 毛片久久| 国产在线播放成人免费| 一级久久性爱视频| 伊人黄色片| 九久9精品| 啊啊啊男女| 久久草视频污视频| 国产美女高潮视频| 福利在线视频一区二区| 精久久久91| 97亚洲性爱| 天天色综合图片| 色丁香久久| 日韩一级特黄av毛片| 黑人性暴力毛片| 中文字幕二区| 久久久久斤小| 国产中文日韩欧美一区二区三区人妻丝袜美腿| 日韩 欧美 校园一区| 精品四五区| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 国产尹人在线视频免费| 91丝袜熟女| 亚洲精品国产AV天美传媒| 91操操| 黄片无码在线制服| 欧美成不卡网| 欧美视频一区二区三区| 日韩丝袜二区| 欧美性少妇| 狠狠色狠狠色狠狠五月| 丝袜天堂网| 自拍偷拍 日韩无码| 99免费在线视频| 亚洲综合春色| 一区二区三区视频在线观看免费| 开心五月激情网| 久久超碰网| 黑丝91视频| 亚洲欧洲无码bt精品合集| 亚爽爽爽爽爽爽爽爽| 日韩淫色网| 丰满人妻av一区二区三区| 熟女露脸激情自拍视频| 农村妇女一级二级三级视频| 久思思热视频在线观看| 97久久国产精品| 婷婷亚洲综合| 九九久久九九久久| 青青草视频久久久久| 免费精品99| 成年男人的天堂| 久久久国产精品人妻丝袜| 久草综合视频| 玖玖爱视频网站| 超碰免费人妻在线| 中文字幕一区二区在线日韩精品| 亚洲一本色道中文无码aV天美| 97欧美色| 欧美综合色站| 97精品国产97久久久久久户外免费| 精品久久无码午夜福利| 狠狠躁伊人中文字幕| 91丝袜美女| 国产无码精品成人| 国产精品另类一区大香蕉| 欧美国产日韩高清在线| 亚州91| 日韩精品人妻中文字幕久久久| 天天日夜夜爽| 久久久久九九九| 日本潮催一卡操| 久久久久久久| 欧美人妻熟女在线| 天天看片天天爽| 日本国产欧美高清在线| 综合久久欧美| 久久久精品中文字幕麻豆| 伊人天堂在线| 久久亚洲一区二区色婷婷| 久久人妻少妇| 偷拍偷窥与盗摄视频专区| 久久 国产 无码| 在线99热| 五月天色五月| 亚洲另类电影| 99色色| 韩国手机不卡无码三级视频| 亚洲 欧美 日韩 国产一区二区 | 久夜视频| 91动漫操逼视频| 在线啊啊啊啊| 极品少妇久久久| 综合欧美日韩在线观看| 人妻夜夜爽天天爽麻豆三区网站| 色蜜AV| 人人操人人射人人干| 色欲天天综合久久久无码网中文| 成人av动漫在线观看| 欧美亚洲美少妇一区二区| 亚洲色宗合| 三级三久久线久久99久目本WW| 中文字幕久久精品一区| 操B视频日韩无码| 精品一区二区三区蜜桃臀赵总 | 人妻一区视频| 青青草黑寡妇男人天堂| 丁香五月天啪啪| 亚洲青色欧美| 欧美gv在线观看| 欧美成人性爱视频大全| 亚洲91射| 精品国产乱码久久久久久口爆网站| 中文字幕日韩精品一区二区三区| 亚欧高清| 91在线限制级| 97超碰人人操人人操| 91人妻尻屄视频| 91欧美丨精品丨入口| 影音先锋少妇| 国产精品久久久久久久久久久久久久久久| 欧美人人曰人人操人人射射| AV老汉| 国产久久成人| 日日干夜夜欢| 久草免费在线一区二区| 四虎精品永久在线观看| 色墦五月丁香| 69丨亚洲丨精品丨入口免费播放| 中文精品少妇天堂| 国产亚洲色婷婷久久99精品91 - 百度 | 国产Av超碰| 农村妇女精品一二区| 国产一区二区二区按摩精品啪视频| 中文字幕黄色一起草| 日本中文字幕熟妇| 另类小说综合网| 综合网欧美在线| 久久久精精精| 日逼视频日本| 欧美三级免费伊人| 欧美高清18A片| 大香樵伊人网| 春色综合网| 99视频精品| 国产精品久久久视频| 97超碰人人模人人拍人人| 国产女人视频三四五区| 午夜福利成人免费视频| 黄在线| 丁香五月性爱| 好一吊区二区| 亚洲国产精品久久久久久久久久| 午夜精品久久一区二区| 操逼逼一区视频| 成人熟女视频一区二区三区| 91啦人妻| 久久夜色一区二区| 久久精品国产亚洲AV嘿嘿| 99热8| 久噜噜| 成全在线观看免费观看| 亚洲精品国产熟女久久久| 丁香九月激情| 美女操逼A A| 舔舔啊| 国产伊人自拍| www.av在线观看| 天堂无码| 一二三卡欧美日韩人妻免费精品| 1024久久高清视频| 天天视频综合在线观看视频| 久久久婷婷| 欧州一区二区三区四区| 公司1区2区3区精产精| 久久‘黄片视频| 久久精品—区二区三区内射| 国产嫩草精品A88AV| 国产在线视视频有精品| 亚洲国产成人7777| 久久黄人人爽视频| 精品中文日韩字幕视频| 青草草免费网站av| 久热精品在线| 囯产精品久久久久久久久久梁医生| 国内毛片无码一级毛片| 欧美性生活男人的天堂| 99999久久精| 极品色电影院| 欧美少妇第一页| 亚洲精品第一| 久久久久亚洲AV无码专区少妇| av激情亚洲五月天| 欧美综合中文| 超碰视97中文| 色香在线| 最新亚洲风情电影| 欧美日日夜夜| 亚洲日韩成人性爱视频| 亚欧高清v| 国产 v乱码一区二| 久久精品熟妇丰满人妻99| 国语精品对白| 99少妇内射| 大香蕉中文在线| 9久久美女首页| 日韩亚洲中文字幕在线| 在线毛片片免费观看| 亚洲日本天堂| 亚洲少妇在线观看| 丰满少妇一区二区三区免费看| 欧日韩一二三f区| AV久日| 超碰 欧美| 亚洲清纯综合| 97日韩欧美| 啪啪视频免费在线观看| 亚洲另类天堂| 久久在线观看免费视频| 神马久久中文字幕| 九九99精品视频在线观看| 91福利网在线观看| 国产乱伦搜索结果91P| 很很很很操| 91GD.COM| 91色久| 欧亚性爱视频免费看| 日本视频在线观看污污污| 免费看国产曰批40分钟怎么下载| 97se综合网| 老司机午夜精品福利视频一区二区| 老汉网| 一二三四视频在线社区中文字幕| 午夜操操操| 久久久久久久人妻丝袜| 欧美毛片在线网| 精品视频久久久久九九九九9999| 色婷婷视频| 熟女丰满人妻一区| A啊啊在线观看| 色综合20p| 欧美黑人168页欧美黑人167| 黄页网站成人免费| 女人久久久| 一级性爱啪啪视频| 秋霞一级视频在线观看免费| 亚洲另类在线观看| 欧美久久婷| 久干网| 青青草女人天天干| 蜜桃av色偷偷av老熟女| 成人国产视频在线观看| 搞中出久久| AAA久久| 日本丝袜美腿人妻九九| 长久操视频| 天天拍夜夜| 午夜超爽| 超碰在线人人射| 伊色综合天堂色97| 91 丝袜在线播放| 欧美日韩插逼视频| 草草网站影院白丝内射| 亚洲久热| 九九热精彩视频| 欧美性五月| 中文字幕丰满人妻日本| 亚洲国产一级精品毛一级精品看免费视频 | 久区视频| A 在线网址| 丁香色五月 97干| 乱理日韩中文| 无人区高清电影免费观看一区二区三 www.qmcai2.com | 性爱网站一区二区| 久久亚洲婷婷| 97操97色| 久久风骚城市| 色黄污美女啪啪啪免费网站| 国产精品熟女九色九色蜜臀| 91粉芽高清在线一区二区| 精品欧美乱码久| 六月丁香网| 国产成人综合在线播放| 2000亚洲男人天堂| 中国探花熟女| 在线观看亚洲成人精品| 亚洲官网在线| 日韩免费人妻色情网站| 一级@啪啪视频| 啪一啪免费视频| yazhousetuoumei| 99草精| 久久69| 久久久久国产无av| 日本久久综合| 免费国产视频| 久久一区二区三区入口| 欧美A√综合网 | 日韩精品一区二区日韩| 亚洲国产精品乱码在线观看| 国产精品久久久久999| 人妻偷拍一区二区三区| 91无人区卡一卡二卡三乱码入口最新版:能让用户有更多选择的选择-经典说说-爱 | 国产精品2020| 国产激情av女片自拍| 欧美激情区| 国产天天噜一噜久久久| 91精品人妻一区二区三区蜜桃臀 | 久久精品国产亚洲AV无码电影| 欧美色图亚洲色| 亚洲福利中文字幕在线| 加勒比五月天| 翔田千里爆乳巨臀无码| 玖色av| 久久动漫精品视频这里只有精品| 国产尹人在线视频免费| 成人五级久久| 中文字幕97| 人妻精品一区二区| 九九九不卡| 乱操9999| 91久久久老司机| 开心激情婷婷| 另类天堂| 97久久综合网| 国产性感在线观看| 国产精品亚洲免费| wwwcaobibi| 玖玖综合网| 九热中文字幕| 天天影视综合网欧美精品| 激情在线青青操| 天天插天天射| 97欧美日韩| 国产精品老熟女一区二区| 国产高清免费不卡av| 91精品国产91久久青草| 超碰97精品| 亚洲人成在线放东京热| 超碰人妻97| 91九九| 久草精品热视| 国产日韩欧美三级片| 校园春色家庭伦理欧美激情| 为用户提供免费看黄网址在线观看| 少妇一区二区三区在线观看| 中文字幕日韩人妻视频一区二区三区| 国产偷人妻精品一区二区在线| 欧美顶级黄色大片免费| 好看的久久不射无码影视影院| 免费少妇一区二区| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 在线观看成人性爱免费小视频| 国产日韩无码一区二区三区久久区| 粉嫩绯色AV一区二区在线| 国产熟女一区二区丰满| 亚洲天堂第一页| 亚洲性少妇| 99热在线只有精品| 亚洲国产丝袜熟女av| yw尤物av无码点击进入麻豆| 伊人一区二区在线播放| 日日操丁香五月天| 精品久久久久黄少妇| 97亚洲中文| 五月天婷婷综合| 91性情| 另类天堂| 国产精品熟女一区二区三区| 五月天色色色| 怡红院成人视频| 欧美午夜精品久久久久久3D| 99热日| 国产欧美一区激情交| 88在线一区二区三区| 极品尤物在线观看| 97狠狠| 91在线免费观看处女| 亚洲另类欧美精品| 亚洲有码 视频一区| 青青青在线高清视频在线一二三四区| 久久久性爱| 亚洲免费成人在线高清无码视频 | 午夜男人av| 国产女人高潮视频| 亚洲好色人妻| 婷婷在线播放| 性色AV网站| 9999伦理视频| 日韩成人性日韩成人性爱视频在线免费观看| 少妇国产不卡| 先锋影音av先锋一区| 超碰调教97| 操久久久久| 一区二区三区四区五区高清无码永久视频 | 襙一襙| 狠狠热这里都是精品| 不卡啪啪视频| 97超碰这里只有精品| 精品国产综合久久福利,热99这里有精品综合久久,99热这里只有免费国产精品,精 | 久操 高清| 久久久久久九| 超碰99在线观看| 成人久久久| 亚洲风情综合网| 久久香蕉综合一本到3atv| 5月婷婷6月六月丁香| 欧美性爱1080p| 日韩性色b| 91天射| 久热九九| 亚洲91网| 人妻在线中出视频| 人人插人人摸人人| 夜夜嗨视频| 加勒比伊人| 国产成人无码啪| 国产丝袜视频| 久99在线免费观看视频| 91综合网站| 日韩伦理视频| 97国产高清视频在线观看| 精品无人区麻豆乱码1区2区图片| 夜夜操天| 1769一区二区| 91熟女丨91老女人| 好舒服视频| 激情综合五月| 亚洲综合中文字幕有码| 3P丝袜熟女 色综合| 国产精品麻豆成人AV艾秋| 人人操我人人干| 日本一区二区中文字幕久久| 亚洲色图自拍| 丰满搜索结果 -第18页- 久久高清无码| 国产成人精品日本亚洲语言| 黄片免费视频2019| J?P?NESEHD熟女熟妇伦| 搡老女人老熟女91老熟女综合网| 亚洲伊人久久精品影院| 欧美在线l亚洲| 性欧美天天| 女人妻一区| 99国产天美| 久久伊人在线五区| 啊啊啊好爽快点啊啊啊嗯嗯| 久热9| 亚洲婷婷五月天| 国产视频一区二区免费| 亚洲国产欧美中日韩成人综合视频| 中文精品一区二去| 日本视频一区二区三区| 黄色区免费观看中文字幕| 在线免费观看日韩一区| 日韩乱伦AⅤ| 影音先锋日本一区二区| 91第一页| 亚洲精品久久久久毛片A片拉屎| 亚洲熟女诱惑| 国产兽交视频在线播放| 精品人体无圣光凹凸| 两性色网| 野狼激情网| 和协影院中文字幕三区| 中文一区在线日| 制服中出中文人人精品| 91N综合网在线| 日韩欧美蜜桃精品久久中文字幕久久| 九九人妻| 性色综合网| 麻花豆传媒剧国产MV出差| 国产三级多多影院2022国产AA一级毛片无码| 无码不卡八戒| 色九九综合| 日本一天色道久久久精品视频| 日韩大香蕉AV影片| 亚洲欧美97| 久久一级无码精品毛片6| 色综合天天| 精品射1999| 91制服丝袜| 亚洲欧美日韩精品久久久一区二区| 五月丁香色情| 日本超碰色精品| 啊啊啊啊免费视频| 九色在线熟女国产黑人| 欧美日韩理论一区| 国产日本顶级一区二区三区| 无码人妻精品酒店| www.色综合| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 中国农村熟妇毛片视频| 99久久久| 97视频在线免费播放| 国产精品视频内谢女人| 五月激情在线| 中文字幕午夜精品久久久| 亚洲AV成人无码一二三久久| 小少妇| 97综合在线| 麻豆亚洲Av成人无码一区精品| 青青青草原| 99热在线观看| 久久9亚洲| 日本性一区| 久久久久久久国产视频| 日韩在线97| 乱论91| 天天超级碰碰碰| 人人爱人人操人人性| 精品国产久久乱码| 不卡啪啪视频| 安微少妇操BBB| 久久性爱大全| 欧美 亚洲 在线| 四季AV综合网址| 欧美综合网在线| 婷婷伊人一区| 操逼视频亚洲| 欧美性夜| 欧美国产成人在线| 5月婷婷6月六月丁香| …亚洲黄色厕厕女女在线播…| www.色综合| 欧美激情视频在线一区| 97超碰中文字幕| 天天干少妇| av在线不卡一区二区三区| 蜜臀网 一区| 欧美制服另类丝袜| 久久久精品视频免费观看| 大乔未久88一区| 久久久久骚| 自拍大香蕉乱插| 亚州熟女乱伦| K8久久久久| 超碰性爱97| 婷婷操逼| 十八禁成人网站在线观看| 97爱综合| 激情欧美97| 麻豆天美制片厂网站视频| 花野真衣| 丁香激情网| 婷婷久久综合久| 国模吧 一区二区三区| 中文字幕奈奈美被公侵犯| 激情婷婷黑人91| 欧美色爱综合| 乱色老一区二区三区的观看方式 | 蜜区区视频79| 国产热av| 久久久久久无码人妻中文字幕| 嗯嗯啊好大| 91亚州日韩高清| 亚洲色图欧美色图制服丝袜| 激情小说五月天| 极品粉嫩一区二区| 尻女朋友一夜| 久久超碰免费的| 欧美亚洲厕所精品偷拍91| 人人综合| 91爱看| 色爱欲亚洲| 情色五月天网| 亚洲性高潮| 日韩兔费看黄片| 国产偷人伦激情在线观看| 免费看黄片现成| 成人性爱高清视频免费看| 中文字幕日本久久| 色香色香欲天天天影视综合网| 久久精品亚洲婷婷| 在线免费试看60秒| 久久9久久| 欧美写真视频一区| 在线观看亚洲成人精品| 亚洲第一免费视频| 五月丁香色色网| 日韩久久超碰色| 亚洲熟妇AV日韩熟妇在线| 麻豆 美女 丝袜 人妻 中文| 强奸乱伦AV一天堂网| 日日碰狠狠添天天爽超| 人妻久久久久久久久久久久久久久| 欧美在线官网| 欧美97视频| 99色网| 超碰成人国产| 在线97在线| 干B网| 久久精品国产99精品亚洲蜜...| 亚洲一卡二卡在线免费| 404操逼福利视频| 破苞ⅩXXX性无码动漫无码| 免费看一级a性色生活片久久无| 91人人爽人人爽| 蜜臀99久| 蜜桃av综合网发布| 欧美综合网1| 人妻二区| 99re3这里只有精品| 欲色综合| 亚洲乱熟女一区二区三区大香蕉| 亚洲自拍一区夜夜操| 亚洲无码 国产无码| 天天日天天爽| 蜜臀久久99精品久久久久久成人小说 | 国产美女mm131爽爽爽爽| 中文字幕在在线观看网站| 春色综合网| 九九综合久久| 天美传媒婬乱在| 亚洲性爱高潮影院| 91欧美亚洲| 青青草自拍视频在线播放| 99久久精品国产系列| 天天综和| 亚洲成人无码影院| 夜夜嗨免费视频| 婷婷久久网| 久久久久久久91| 日韩一级二级在线| 操国产高清| 亚洲精品不卡一二三区| 国产一区二区欧美日本| 天堂网亚洲区手机版| 猛交交| 岛国黄| 精品一区二区三区蜜桃| 日本免费一区二| AV污污污污| 探花精品 一区二区| 少妇特黄一区二区三区| 中文字幕黄片在线| 日日夜夜模| 久热久一区二区三区| 天天视频网站黄| 四虎精品亚洲| 91美女在线视频| 国产无马av| 精品无码一区二区三区| 欧美色图片色哟哟| 久久综合日韩亚洲欧美| 国产精品亚洲免费| a片偷拍视频| 欧美欧美少妇| 精品四五区| 2024人人操人人摸| 国产精品久久久吖| 九九九九九九免费视频| 亚洲成人综合在线| 黑人精品XXX一区一二区| 天天干夜夜鈤| 超碰日韩美妻| 91新在线欧美| 嗯嗯嗯啊啊啊在线免费观看| 免费看欧美美女黄色大片| 久久久久久日韩| 日韩性爱小视频| 亚洲激情综合另类| 精品人妻高清麻豆av| 亚洲激情欧美色图 | 中国AV美女| 俄罗斯及免费在线看| 国产少妇与亚洲av| 日本三级中国三级99人妇网站| 亚洲古典另类欧美在线| 亚洲人成在线放东京热| 大色综合| 蜜桃狠狠色伊人亚洲综合 | 美骚妇av高清在线| 伊人97色天使| 很很很很操| 97一本大道亚洲一区| 97欧美久久久久久久| 亚洲色图 图片| 久艹视频在线| 91人妻久久久久久久久久久久久| 亚洲熟女乱综合一区二区三区| 欧美综合 站| 蜜桃午夜视频一区二区|