日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

ArmNN源碼審計:從端側(cè)AI到Cortex-A算子執(zhí)行鏈路拆解

ArmNN源碼審計:從端側(cè)AI到Cortex-A算子執(zhí)行鏈路拆解 1. 追根溯源為什么要把 ArmNN 的源碼從黑盒里拆開來看前段時間我在一塊 Cortex-A 架構(gòu)的 ARM Linux 板子上做端側(cè)AI部署模型跑起來本身不難難的是把它跑明白。一開始我用 TFLite 轉(zhuǎn)好的模型直接推理發(fā)現(xiàn) CPU 占用忽高忽低某些算子的時延明顯不對但換一個輸入尺寸后表現(xiàn)又完全不同。那時候我開始意識到光會調(diào) API 是不夠的只有把 ArmNN 這類框架的源碼層邏輯弄清楚才能真正理解“邊緣推理引擎”在 ARM 平臺上到底做了什么。這里先潑一盆冷水很多人把 ArmNN 當(dāng)成了一個跟 TensorFlow Lite、PyTorch 一樣功能的 AI 框架這是最大的誤解。ArmNN 不是一個訓(xùn)練框架也不是一個通用推理框架它是一個面向 ARM 架構(gòu)的深度神經(jīng)網(wǎng)絡(luò)推理中間層。它做的事情是從前端的模型文件出發(fā)把計算圖解析、優(yōu)化、拆解最終把算子映射到 ARM Compute LibraryACL或者其他后端上去執(zhí)行。還有一個經(jīng)常被誤解的點我在這幾年的社區(qū)討論和搜索記錄里也發(fā)現(xiàn)過很多次大家在搜“ARM 端側(cè)AI”的時候經(jīng)常會混入 ARM Compiler 5.06、Keil、JLINK 接線、RVDS 這類 MCU 開發(fā)工具鏈的話題。這些工具確實屬于 ARM 生態(tài)但它們解決的是 Cortex-M 裸機或者 RTOS 下的編譯與調(diào)試問題跟 ArmNN 這種跑在 Linux 用戶態(tài)、面向 Cortex-A 系列的應(yīng)用處理器推理引擎完全是兩條路。如果你手上拿的是一塊跑 Linux 的 ARM 板子想去部署語音識別或者視覺模型就不要被 keil 或者 armcc 的搜索結(jié)果帶偏。我讀 ArmNN 源碼的動機也來自一個很現(xiàn)實的問題一個模型最終在 ARM CPU 上運行的時候數(shù)據(jù)是怎么從輸入端流動到輸出端的為什么同樣的模型在 x86 上用 OpenVINO 跑得很順在 ARM 上換到 CpuAcc 后端之后速度提升卻不明顯為了回答這些問題我去翻了 ArmNN 的 GitHub 倉庫從 include 目錄到 backends 目錄把一條主推理鏈路完整讀了一遍。這篇文章不是官方文檔翻譯也不是逐行代碼注釋而是記錄我從源碼審計視角發(fā)現(xiàn)的架構(gòu)邏輯和實際部署經(jīng)驗。內(nèi)容包括 ArmNN 的整體架構(gòu)怎么設(shè)計、一條推理請求在框架內(nèi)部經(jīng)歷了哪些轉(zhuǎn)換、算子如何落到 Neon 或者 CL 后端、以及做端側(cè)AI落地時應(yīng)該避開的幾個大坑。適合已經(jīng)在做 ARM Linux 端模型部署、或者準(zhǔn)備把業(yè)務(wù)切到端側(cè)AI方向上的工程師閱讀。1.1 讀 ArmNN 源碼前先建立一張“執(zhí)行地圖”我在讀源碼之前先把 ArmNN 對外的身份屬性搞清楚了。它不是一個像 OpenCV 那樣提供厚厚 API 的庫而是一個帶編譯性質(zhì)的計算圖調(diào)度框架。如果只靠面向?qū)ο蟮娜肟谌ダ斫馑銜吹揭欢?Network、Graph、Layer、Workload 之類的類名但不知道它們之間的先后關(guān)系。我自己參照官方文檔畫過一條簡化鏈路模型文件進入 Parser被解析成內(nèi)存中的靜態(tài)計算圖圖經(jīng)過優(yōu)化 Pass 處理后做后端分配被分配好后再交給 Runtime 做加載運行時最終通過 EnqueueWorkload 觸發(fā)執(zhí)行。這條鏈路等會兒在后面的章節(jié)里會展開講但先記住它的骨架會讓源碼閱讀順暢很多。ArmNN 最打動我的一點是它的“分層解耦”做得相當(dāng)干凈。模型解析、圖優(yōu)化、算子執(zhí)行互不摻和。如果你只關(guān)心 CpuAcc 上的卷積性能完全可以把 Graph 優(yōu)化部分跳過直接去 backends 目錄里找對應(yīng)的 Workload 實現(xiàn)。如果你需要理解為什么某個算子沒有走 GPU只需要看后端選擇機制和 LayerSupport 支持表。這種結(jié)構(gòu)非常利于源碼審計不像一些框架把算子判斷、內(nèi)存分配、內(nèi)核調(diào)度全部揉在一個文件里。在開始審計之前我還做了一件事把一個簡單的卷積模型分別用 CpuRef 和 CpuAcc 后端跑了一遍。目的不是為了看速度差異而是為了在 debugger 里打兩個斷點觀察同一個模型在不同后端下的調(diào)用棧差異。這比看再多架構(gòu)文章都管用因為每一條函數(shù)跳轉(zhuǎn)都變成了直觀的路徑。后面我會詳細介紹這部分的實操方法。2. 全景架構(gòu)拆解一個模型文件到算子執(zhí)行的五層轉(zhuǎn)換ArmNN 的源碼審計繞不開一個問題它把“網(wǎng)絡(luò)”這個概念拆到了什么程度我把它歸納成五層轉(zhuǎn)換每一層都有對應(yīng)的源碼實體。理解這五層基本就能看懂 ArmNN 的主干。第一層是前端解析層。ArmNN 本身不直接認識 PyTorch 的權(quán)重文件或者 TensorFlow 的 SavedModel它依靠獨立的 Parser 組件把 TFLite、ONNX、TF 模型讀進來。讀進來的結(jié)果是 INetwork 對象這個對象內(nèi)部是一堆 Layer 和 LayerConnection 組成的圖。Layer 在 ArmNN 里并不等價于“神經(jīng)網(wǎng)絡(luò)層”它更像是計算圖上的一個節(jié)點一個 Layer 可能負責(zé)拼接、拆分、形變、或者僅僅是一個常量輸入??吹竭@里的時候我有點恍然大悟ArmNN 中的 INetwork 其實比我們?nèi)粘@斫獾哪P蛯咏Y(jié)構(gòu)更底層它是圖論意義上的有向無環(huán)圖。第二層是圖優(yōu)化層。INetwork 會被克隆、變換成 Graph 對象緊接著進入 Optimization Pass 管道。我在源代碼里觀察到這層主要是為了提升最終的算子執(zhí)行效率而不是去改模型的拓撲邏輯。常見的有常量折疊、卷積與 BatchNorm 融合、連續(xù) Reshape 合并還有把某些 Permute 重排成 View 操作避免真實拷貝。這些優(yōu)化對最終的 NEON 性能影響非常大如果在 Load 階段忽略了這些 Pass哪怕后端計算再快也會被多余的內(nèi)存讀寫拖垮。第三層是后端選擇與分配層。一個圖里的 Layer 不一定都由同一個后端執(zhí)行。ArmNN 會通過 BackendId 從注冊表中找到具體的后端實現(xiàn)再檢查該后端是否支持這個 Layer 的算子類型和數(shù)據(jù)格式。如果主后端不支持它會根據(jù)邏輯把子圖切給其他后端。常見的選擇是 CpuAcc、GpuAcc、CpuRef 三者共存。這一層在源碼里對應(yīng) BackendRegistry、LayerSupport 和 BackendAssignment 相關(guān)的邏輯。第四層是 Workload 生成層。當(dāng)每個 Layer 都被分配好后端后ArmNN 就開始為它生成對應(yīng)的 Workload。Workload 是 ArmNN 自己定義的執(zhí)行體接口可以簡單理解為一個算子的可執(zhí)行包裝。后端決定這個包裝具體長什么樣Neon 后端會生成一個包含 ACL NEON Function 的 WorkloadCL 后端生成包含 OpenCL Kernel 的 WorkloadCPU 參考后端生成一個普通 C 實現(xiàn)的 Workload。這里也是源碼審計中最有嚼頭的地方我讀到后面才發(fā)現(xiàn)卷積層的權(quán)重格式預(yù)處理經(jīng)常是發(fā)生在 Workload 構(gòu)造階段而不是第一次推理執(zhí)行階段。這就是為什么 ArmNN LoadNetwork 有時會顯得很慢——它不是在做計算而是在做算子的預(yù)編譯和內(nèi)存重排。第五層是運行時調(diào)度層。IRuntime 加載網(wǎng)絡(luò)后得到一個 LoadedNetwork它負責(zé)把輸入的張量綁定到內(nèi)存池中并且按順序執(zhí)行網(wǎng)絡(luò)內(nèi)的所有 Workload。因為這個模型已經(jīng)被“編譯”成了一組 Workload 的有序列表所以執(zhí)行階段相對薄主邏輯集中在 EnqueueWorkload 的調(diào)用路徑上。如果用 C 的思維理解就是構(gòu)造函數(shù)干了大量重活調(diào)用方法只負責(zé)按清單干活。為了更直觀地展示這五層對應(yīng)關(guān)系我自己整理了一張流程表格在追蹤問題的時候會反復(fù)用階段輸入輸出源碼中的關(guān)鍵對象模型解析TFLite/ONNX 文件INetwork 圖TfLiteParser、OnnxParser圖優(yōu)化INetworkGraph 優(yōu)化結(jié)果Graph、Optimization Passes后端分配優(yōu)化后的圖帶后端信息的圖BackendRegistry、LayerSupport負載創(chuàng)建帶后端信息的 LayerWorkload 列表WorkloadFactory、IWorkload運行時執(zhí)行輸入張量輸出張量LoadedNetwork、Runtime這張表是我在實際排查算子執(zhí)行路徑時最常用的框架。每次看到異常算子我先判斷它到底卡在哪個階段。如果是 Load 階段慢去查權(quán)重預(yù)處理如果是第一次推理慢查 Workload 構(gòu)造和 OpenCL 編譯如果每次推理都慢才考慮是不是算子實現(xiàn)本身或者內(nèi)存帶寬問題。2.1 ArmNN 和 Compute Library 的職責(zé)邊界很多人在讀 ArmNN 源碼時會困惑“卷積的 Neon 實現(xiàn)不就在 ArmNN 里面嗎”其實不是。ArmNN 本身不直接寫匯編也不直接調(diào) NEON 指令。在 CpuAcc 后端的目錄里你會看到很多 Workload 文件但真正的算子計算是在 Arm Compute LibraryACL內(nèi)部完成的。ArmNN 提供的是“哪個 Layer 用哪個 ACL Function”的映射關(guān)系、數(shù)據(jù)格式轉(zhuǎn)換、以及生命周期管理。ACL 是 ARM 提供的一套計算庫它內(nèi)部實現(xiàn)了卷積、池化、全連接等算子的 NEON 和 OpenCL 版本。ArmNN 作為上層框架只負責(zé)把模型圖轉(zhuǎn)換成語義明確的算子請求然后交給 ACL 的 Function 去跑。所以在分析算子性能時不能只盯 ArmNN 源碼還要配合 ACL 的源碼去看 Kernel 的調(diào)度策略。同理如果某個算子在 CpuAcc 下不支持也不要怪 ACL應(yīng)該先查 ArmNN 的 LayerSupport 檢查邏輯看是不是 ArmNN 根本沒有把這個算子注冊到 CpuAcc 的實現(xiàn)列表里。這種雙層架構(gòu)的直接好處是可替換性。舉個例子如果我今天希望把某個算子換成自研的 Neon 實現(xiàn)不需要改動模型解析部分也不用碰 Runtime 調(diào)度只需要在 CpuAcc 后端里新增一個對應(yīng)的 Workload把 ACL 調(diào)用替換成自己的實現(xiàn)即可。這讓我在做一個自定義算子加速項目時少走了很多彎路因為框架沒有把一切寫死在一起。2.2 兩種典型后端的選擇邏輯ArmNN 內(nèi)置的多個后端里最常用到的是 CpuAcc 和 CpuRef另外還有 CpuAcc 的 GPU 兄弟 ClBackend。CpuRef 是純 C 參考實現(xiàn)不追求速度它的價值是作為正確性參照。CpuAcc 則是真正的加速后端所有算子都由 ACL 基于 NEON 指令優(yōu)化過。讀源碼時值得留意的一點是ArmNN 作者們沒有強行讓所有 Layer 都必須跑在 CpuAcc 上。后端檢查到 Layer 不支持時會自動降級到 CpuRef。這個設(shè)計非常實用因為它保證了大部分模型都能“跑起來”但也容易造成性能假象。我曾經(jīng)遇到過一個模型大部分卷積都走了 CpuAcc但有一個 Slice 算子沒注冊 Neon 支持結(jié)果整條推理鏈路里這一個算子拖慢了 30% 的延遲。這種問題不打開源碼對照 LayerSupport 表很難發(fā)現(xiàn)。因此我在審計源碼時總結(jié)出一個經(jīng)驗凡是在真機上排查 ArmNN 性能第一步永遠不是調(diào)線程數(shù)而是先確認每一個算子的 Workload 到底由哪個后端創(chuàng)建。光是這一步就能解釋很多“為什么我的模型換臺機器就慢一半”的詭異問題。3. 源碼審計主線LoadNetwork 與 EnqueueWorkload 之間到底藏著什么ArmNN 的源碼量不算法但目錄分散新手容易迷。我在審計時選擇了一條最主干的路線從IRuntime::LoadNetwork開始一直跟到推理執(zhí)行入口EnqueueWorkload把這條鏈路里的核心類都過了一遍。接下來是我記錄的審計筆記按實際代碼執(zhí)行順序整理不是目錄介紹。3.1 LoadNetwork 階段從網(wǎng)絡(luò)圖到 Workload 的“編譯工程”當(dāng)你調(diào)用 LoadNetwork 時ArmNN 并不是簡單地把網(wǎng)絡(luò)指針存下來而是做了一整套類似編譯器后端的工作。它先拿到 INetwork再把它轉(zhuǎn)成內(nèi)部更容易優(yōu)化的 Graph 對象。如果你翻過源碼會在src/armnn下面看到 Network.cpp 和 Graph.cpp 這類文件前者負責(zé)對外 API 的封裝后者才是真正在內(nèi)存里組織節(jié)點和邊的地方。Graph 里的核心結(jié)構(gòu)是 Layer 和 Slot。Layer 是節(jié)點InputSlot 和 OutputSlot 是節(jié)點之間的連接邊。這個設(shè)計不復(fù)雜但很關(guān)鍵。我之所以特意提它是因為在你寫自定義算子或者修改圖結(jié)構(gòu)時幾乎都在跟這兩個類打交道。比如你要做算子融合本質(zhì)上就是找到兩個相連的 Layer把其中一個的計算并入另一個然后重連 Slot。之后 Graph 進入優(yōu)化過程。我在讀src/armnn/optimizations目錄時看到了幾十個獨立的優(yōu)化 Pass每個 Pass 都實現(xiàn)了名為Run的接口。讓我印象最深的是卷積和 BatchNorm 的融合優(yōu)化。單獨跑一遍 BatchNorm 意味著先要把卷積輸出寫回內(nèi)存再讀出來歸一化再寫回去。融合之后歸一化系數(shù)可以直接折疊進卷積權(quán)重和偏置里省掉一整次內(nèi)存寫讀往返。在 NEON 環(huán)境下這種減少內(nèi)存訪問的優(yōu)化比你想的還要值錢。完成圖優(yōu)化之后ArmNN 會做后端分配。它會遍歷每個 Layer依次查看是否支持當(dāng)前后端的類型、數(shù)據(jù)類型和 shape。如果 Layer 支持則給它標(biāo)記上后端 ID如果不支持就換下一個后端嘗試。這里有非常關(guān)鍵的源碼邏輯對每個 Layer 的支持判斷并不是簡單看算子名稱在不在列表里而是要結(jié)合輸入張量的維度和數(shù)據(jù)類型一起判斷。同一個卷積算子如果輸入是 NHWC 的 float32可能支持但如果換成一個很奇怪的維度或者走到了某些不常用的 data layout后端就可能說“我不支持”。隨后 ArmNN 開始創(chuàng)建 Workload。每個后端的 Workload 都由一個實現(xiàn)了 IWorkloadFactory 接口的對象創(chuàng)建。工廠根據(jù) Layer 類型和 QueueDescriptor 生成對應(yīng)的 IWorkload 實例。你可以在backends/aclCommon、backends/neon和backends/cl下面看到很多具體的工作負載文件。這個階段其實做了不少重計算比如卷積權(quán)重從原始權(quán)重格式轉(zhuǎn)換為 ACL 友好的排列方式甚至提前做 Winograd 變換。所以 LoadNetwork 慢并不一定意味著代碼有問題更可能是模型里卷積太多預(yù)處理權(quán)重需要花時間。3.2 EnqueueWorkload 階段清單執(zhí)行與內(nèi)存綁定模型加載完以后每一次推理都通過 EnqueueWorkload 觸發(fā)。我在源碼里讀這部分時感受到一種明顯的“執(zhí)行期很薄”的設(shè)計哲學(xué)。推理入口做的事情大致可以拆成三步第一步讀取用戶傳入的 InputTensors把輸入數(shù)據(jù)寫入框架預(yù)先分配好的內(nèi)存張量里。第二步遍歷已經(jīng)創(chuàng)建好的 Workload 列表逐個調(diào)用 Execute 方法。第三步把輸出從內(nèi)部張量拷貝回用戶提供的 OutputTensors 中。真正做算子計算的就是第二步里的每個 Workload.Execute。以 CpuAcc 后端的普通卷積 Workload 為例你會在里面看到 ACL 的 NEConvolution2d 對象它的 run 方法會被調(diào)用底層會用多線程把 NEON kernel 分發(fā)到可用的 CPU 核心上。如果你在 GDB 里打斷點會看到調(diào)用棧長這樣EnqueueWorkload - LoadedNetwork 內(nèi)部循環(huán) - NeonConvolution2dWorkload::Execute - ACL 的 NEFunction::run。如果你發(fā)現(xiàn)某一層調(diào)用棧走的是 CpuRefWorkload 而不是 Neon 版本那就說明這一層沒有命中加速后端需要回過去查后端分配邏輯。另外我在實際調(diào)試中發(fā)現(xiàn)ArmNN 的輸出階段經(jīng)常有隱形的數(shù)據(jù)拷貝。如果每次推理都新分配一個很大的輸出緩沖區(qū)時間損耗相當(dāng)可觀。比較好的做法是復(fù)用同一個 OutputTensors 對應(yīng)的底層存儲避免反復(fù)觸發(fā)系統(tǒng)級內(nèi)存分配。這一點對于需要跑到 30FPS 以上的實時端側(cè)AI項目來說尤其重要。3.3 內(nèi)存布局與張量生命周期的隱藏規(guī)則源碼審計過程中我一度被張量生命周期問題繞暈。ArmNN 不像 TFLite 那樣把所有張量按 flatbuffer 平坦存儲它在 Load 階段會讓后端創(chuàng)建對應(yīng)的 TensorHandle 和內(nèi)存池。到了 Enqueue 階段輸入數(shù)據(jù)被拷到某個 WorkingMemHandle 指向的緩沖中計算在這個緩沖上完成。如果只是讀一遍源碼你未必能體會到內(nèi)存布局的重要性。直到我踩了一個坑同一份模型用 NHWC 數(shù)據(jù)格式和 NCHW 數(shù)據(jù)格式導(dǎo)入延遲差了將近一倍。原因不在算子計算本身而在于 ACL 內(nèi)部對 NHWC 更加友好同時 ArmNN 的前端解析和轉(zhuǎn)換也盡量避免額外 transpose。很多模型轉(zhuǎn)換工具默認導(dǎo)出 NCHW如果直接塞給 ArmNN某些 Layer 會額外插入 Permute 操作推理時間自然就上去了。因此在部署模型中輸入 layout 的選擇不亞于模型結(jié)構(gòu)選擇。ArmNN 里還有一個容易忽略的機制在網(wǎng)絡(luò)加載之后很多中間張量的 buffer 已經(jīng)被固定下來了不支持動態(tài)變化。如果你在 ONNX 里設(shè)置了動態(tài) batch或者某些維度是 NoneArmNN 在導(dǎo)入階段就很可能直接報錯。后面在落地那節(jié)我會專門聊這個坑的規(guī)避方式。4. 算子審計視角從 CpuRef 到 Neon 的工作負載生成路徑如果說整條 LoadNetwork 鏈路讓我掌握了 ArmNN 的“骨架”那算子擴展這塊則讓我看清了它的“肌肉”。真正決定邊緣推理引擎能跑多少種模型、每個算子的邊界條件是什么都藏在 Layer、Workload、LayerSupport 這三者關(guān)系中。這一節(jié)我以源碼審計為線索講講后端的注冊和執(zhí)行體生成邏輯。4.1 后端注冊表ArmNN 如何找到你想要的執(zhí)行單元ArmNN 把后端抽象成了 IBackendInternal 接口每個具體的后端只要實現(xiàn)這個接口并提供相應(yīng)的 WorkloadFactory就能接入框架。BackendRegistry 是后端的注冊中心。默認情況下它知道 CpuRef、CpuAcc、Cl 等后端的創(chuàng)建方式。如果你用的是帶 Ethos-N NPU 的平臺也會有對應(yīng)的后端注冊進來。從源碼審計角度看后端注冊機制給我最大的啟發(fā)是不要被“ARM 官方”四個字限制住思路。這個架構(gòu)允許你新增一個例如“MyFastNPU”的后端只需要實現(xiàn)接口后注冊進框架上層模型的圖優(yōu)化和調(diào)度邏輯完全不用改。所以 ArmNN 的工程邊界其實比不少商用推理框架要開放得多。值得注意的是多后端并存時ArmNN 在選擇后端上并不是按“哪個最快”來排而是按你傳入的優(yōu)先順序逐個判斷支持度。默認情況下也許 CpuAcc 排前面但如果你沒有顯式指定部分 Layer 也可能落到 CpuRef。這種隱含的回退邏輯是排查性能坑時需要高度關(guān)注的點。4.2 LayerSupport支持判定不是一張純字符串表我曾經(jīng)以為框架判斷某個算子支不支持某個后端就是查一個名單。讀完源碼后才發(fā)現(xiàn)不是。ArmNN 的 LayerSupport 是一個接口它要根據(jù) WorkloadInfo 里的輸入張量個數(shù)、寬度、高度、通道數(shù)、數(shù)據(jù)類型、布局等信息共同決定。所以一個算子可能“系數(shù)支持”卻不能用于你現(xiàn)在的具體模型。這個設(shè)計在工程上是合理但也會帶來一個令部署工程師頭疼的問題同一個模型在開發(fā)板上新增了一個輸入分辨率就可能觸發(fā)回退路徑。比如某個 Convolution 在支持列表里但輸入 W 或 H 不是 16 的倍數(shù)某些經(jīng)過 Kernel 優(yōu)化的路徑可能失效或者數(shù)據(jù)格式需要 pad最后真實執(zhí)行的效率截然不同。因此在模型上線前最好用與線上完全一致的輸入尺寸去跑一遍 Profile而不是拿一個小尺寸樣例測試后就直接上線。4.3 從參考實現(xiàn)到 Neon 實現(xiàn)的擴展路線如果你要做自定義算子ArmNN 官方文檔和源碼給出了一個非常清晰的路線這也是我在審計時最喜歡的一條路徑。第一步在 CpuRef 后端實現(xiàn)一個最樸素、最容易驗證的計算實現(xiàn)保證輸出正確。第二步為模型解析階段增加對該 Layer 的解析和 Layer 類構(gòu)建。第三步在目標(biāo)后端比如 CpuAcc中實例化具體的 Workload并在內(nèi)部調(diào)用 ACL 里的 Function。第四步在 LayerSupport 里為這個后端聲明支持條件。有人覺得四步很多但實際上最難的是第四步之前因為你需要對 ACL 里有沒有合適的 Function 非常清楚。例如你想新增一個特殊形態(tài)的 PoolingACL 未必提供對應(yīng)的 Kernel這時候你可能需要基于 ACL 的算子組合來間接實現(xiàn)而不是硬寫一個新 Kernel。從源碼審計中得到的一個深刻體會是CpuRef 后端并不是一個多余的“備用輪子”它其實承擔(dān)了正確性基準(zhǔn)的角色。你在新增或者移植任何算子時先用 CpuRef 得到參考輸出再去優(yōu)化 Neon 實現(xiàn)一旦兩邊輸出不一致問題大概率出在新后端的邊界處理上而不是模型本身。沒有參考后端的框架在調(diào)試這種問題時只能靠紙面計算效率完全不在一個層次。新增算子時更要留意LayerSupport 通常只做靜態(tài)檢查它可能不會驗證所有輸入數(shù)值的范圍。我在做某些量化模型算子時就遇到過浮點模型沒問題、量化模型偶爾觸發(fā)邊界錯誤的情況。最后發(fā)現(xiàn)是某個算子在 uint8 輸入下ACL 實現(xiàn)里對最大值做了特殊處理而支持判定表預(yù)判太低導(dǎo)致錯誤在推理時才暴露。這類問題只有通過“試算子、看代碼、改判定”的循環(huán)才能解決也是源碼審計這件事真正值錢的地方。5. 落地復(fù)盤Cortex-A 真機上的行為表現(xiàn)與常見認知糾偏源碼讀得再多最終還是要落到 ARM 板子上的真實表現(xiàn)。我過去一年在幾塊不同的 Cortex-A Linux 板子上部署過視覺和語音類模型踩了不少坑。這節(jié)內(nèi)容不寫成“成功案例”而是把那些容易讓部署工程師抓狂的問題和我的排查思路整理出來。5.1 動態(tài) shape 的坑為什么模型加載失敗卻找不到原因ArmNN 對靜態(tài) shape 的支持非常穩(wěn)對動態(tài) shape 就很敏感。常見錯誤場景是你從某個工具導(dǎo)出 ONNX 時把 batch 維度留成了 -1或者某個 Reshape 帶有動態(tài)推導(dǎo)又或者 TFLite 模型的輸入尺寸本身沒有固定。這樣的文件被 ArmNN 的 Parser 讀取時可能直接報錯也可能加載成功但在第一次 Enqueue 時才崩。我遇到過最典型的案例是一個語音前端模型里面有一個動態(tài)時間步的 Reshape。模型導(dǎo)出時維度是 [1, -1, 80]代碼里想讓它支持任意幀長。結(jié)果每到推理時 ArmNN 會提示 shape mismatch白白排查了兩天。最后只能把輸入固定到最大幀長度再在外部用 mask 處理多余的幀。雖然浪費了一點計算但換來的是穩(wěn)定可運行。所以如果你的端側(cè)AI模型要跑 ArmNN在導(dǎo)出模型階段就盡量把所有維度定死。輸入上的動態(tài)標(biāo)注越少后期框架層面的兼容性問題越少。這個經(jīng)驗同樣適用于 CpuAcc 的內(nèi)存池設(shè)計因為固定 shape 后 ArmNN 可以提前規(guī)劃所有中間張量的大小省去大量運行期的緩沖調(diào)整。5.2 后端起錯與 CpuRef 混入為什么加速了但沒完全加速另一個高頻問題是模型里混入了 CpuRef 工作負載。從我的經(jīng)驗看這個問題的隱蔽性很強因為 ArmNN 的日志默認并不會打印“該 Layer 已回退到 CpuRef”的告警。如果你只是從端到端延遲去判斷很難意識到問題出在某個底層算子沒有后端實現(xiàn)。我的排查方法非常簡單粗暴先用 perf 工具采樣看 CPU 上的熱點函數(shù)是哪些。如果熱點是 ACL 里的 Neon kernel說明算子在 CpuAcc 上執(zhí)行很健康如果熱點是RefWorkload目錄下的函數(shù)或者一堆模板展開的 C 代碼那基本可以斷定有算子回退了。找出回退的算子之后再對照源碼里的 LayerSupport 表去分析為什么不支持。常見原因有三個算子本身沒實現(xiàn)、輸入數(shù)據(jù)類型不匹配、輸入維度過于特殊。解決路徑也相對清晰換模型變體、調(diào)整輸入格式、或者自己按前面說的擴展流程補一個后端實現(xiàn)。5.3 線程、核數(shù)與大核小核分配端側(cè) CPU 推理的執(zhí)行期調(diào)優(yōu)ArmNN 的多線程執(zhí)行是通過 ACL 實現(xiàn)的不像有些框架直接依賴 OpenMP 環(huán)境變量那么好控制。在多核 SoC 上尤其常見的大小核架構(gòu)上線程調(diào)度其實是端側(cè)AI性能的一個決定性因素。默認情況下ACL 會盡量用滿所有核心但小核算力弱占著線程卻貢獻不了太多吞吐反而會拖慢整體時間。我后來采用的辦法是在啟動推理進程時通過 taskset 把進程限制在指定的大核集合上比如只綁定到兩個或者四個 Cortex-A76 核心。這樣既避免了系統(tǒng)把線程調(diào)度到小核上也避免了多進程之間互相搶占。對很多實時推理場景來說四顆大核比八顆全開更容易得到穩(wěn)定的延遲曲線。線程數(shù)也不是越多越好。我在一個小模型上測試過線程從 1 升到 4 時延遲明顯下降繼續(xù)升到 8 時反而因為同步開銷和緩存競爭開始上升。因此不要盲目相信“多核一定更快”。最好在目標(biāo)平臺上拉一條線程數(shù)-延遲的曲線再決定部署參數(shù)。5.4 數(shù)據(jù)拷貝與 InputTensor 復(fù)用被忽略的時延大頭最后一個被我長期忽視的點是輸入輸出張量的數(shù)據(jù)拷貝。由于 ArmNN 內(nèi)部有自己的內(nèi)存池外部數(shù)據(jù)進框架往往需要一次拷貝。在圖像分辨率很大或者涉及連續(xù)多路輸入時這個拷貝成本可能占總延遲的 10% 以上。如果是在 Python 里通過 PyArmNN 做封裝每幀圖像從 numpy 轉(zhuǎn)成 InputTensor 的耗時更是明顯。減少拷貝的辦法是盡量復(fù)用預(yù)分配好的 buffer。不要在每次推理循環(huán)里 new 一個輸入向量也不要頻繁創(chuàng)建 OutputTensors。PyArmNN 的 C 綁定在反復(fù)構(gòu)造張量對象時也會產(chǎn)生不小的開銷。對視頻流場景比較理想的設(shè)計是啟動時申請一塊內(nèi)存把一幀圖像數(shù)據(jù)直接拷貝到這個固定地址中用同一組張量對象去做循環(huán)推理。這個優(yōu)化看起來不起眼但在嵌入式 Linux 上往往比調(diào)模型結(jié)構(gòu)更容易見效。6. 源碼級調(diào)試方法如何用日志、斷點和單測定位性能與正確性問題如果把前面幾節(jié)看作“紙上談兵”那這一節(jié)就是我真正上真機操作時沉淀出來的調(diào)試手段。端側(cè)AI部署最怕的不是模型精度差而是不知道錯誤到底發(fā)生在哪個環(huán)節(jié)。ArmNN 自身提供了不少調(diào)試工具加上通用的 profiler配合源碼閱讀定位問題的效率會高出很多。6.1 CpuRef 作為正確性參照物一勞永逸的精度校驗方案我在新板子上部署模型時第一件永遠會做的事是把同一個模型分別用 CpuRef 和 CpuAcc 跑一遍并比較輸出張量的差異。由于 CpuRef 是純 C 參考實現(xiàn)它的精度最接近理論值。如果 CpuAcc 的輸出和 CpuRef 差別明顯大于浮點誤差范圍那么問題基本出在加速后端的實現(xiàn)上而不是模型轉(zhuǎn)換上。這個方案成本很低只需要在構(gòu)建 ArmNN 時保留 CpuRef 后端然后在跑網(wǎng)絡(luò)時把后端列表從 CpuAcc 臨時改成 CpuRef。用代碼實現(xiàn)的邏輯甚至不需要模型重載只改后端名參數(shù)即可。無論是排查激活函數(shù)的數(shù)值溢出、量化模型的截斷誤差還是自定義算子擴展后的邊界這個對照實驗都能第一時間縮小問題范圍。我在驗證一個量化卷積算子時CpuRef 輸出是
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
欧美色欧美| 在线视频一区二区传媒| 亚洲啪啪综合?v一区综合精品区| 少妇内射www在线观看视频| 日韩欧美午夜视频在线| 午夜精品久久一区二区| 伊人久久亚洲色欲综合网站 | 日本精品一区二区三区四区的功能| 青青久操| 校园春色亚洲欧洲| 日本福利社| 国产日韩欧美亚洲精品95 | 好吊妞转入那个网| 五月天婷婷欧美三区| 91看黄片| 美女久久久久久久久久久| 操逼无毒无码免费视频| 超碰午夜| 四虎国产成人精品免费一女五男| 人人手机欧洲亚洲国产人妻| 久久五月婷| www.伪伪| 日韩三A大片在线观看| 亚洲动态色图| 91天天综合日韩欧美| 一区超碰一区| 久久久久久久久久久久久女过产乱-少妇高潮一区二区三区喷水-成人AV | 亚洲精品免费中文字幕| 国产精品视频自拍在线| 色黄色美女大长腿午夜视频| 精品久久无码午夜福利| 国产午夜在线观看| 亚洲图片婷婷五月天| AVE乱伦| 91网站18| 亚洲 欧美 另类 日韩 人妻一区| 国产精品青青草| 成人婷婷丁香| 国产成人亚洲精品自产在线| 超碰日本97美女人妻人人玩人人爱| 九九综合久久| 精品九九九九九| 国产成人五月天丁香花| 亚洲中字慕不卡| 激情文学小说一区二区| 亚洲影视第一页| 91网站在线播放| www.av不卡中文字幕| 风骚少妇视频中文字幕| 欧洲亚洲综合| 日本大香蕉综合网| 91天天看| 又粗又长又爽在线观看| 日本午夜精品理论片A级APP发布| 日韩999| 精品一区96| 啊啊啊啊啊啊好湿好爽视频| 97公开久久| 91操人| 中文熟女五十乱码在线| 97超碰美女| 亚洲视频中文一区| 999亚洲国产视频| JIZZJIZZ国产精品喷水| 日本天天人人狠狠在线日美女 | 一区=区三区视频| 欧美三级免费伊人| 蜜桃狠狠色伊人亚洲综合 | 亚洲有薄码区久久在线一区| 又粗又长又大国产不卡| 日本不卡高清视频| 长长久久免费视频| 国产乱码久久久久久| 亚洲有薄码区久久在线一区| 一本精品日本在线视频精品| 色婷婷激情| 久久综合日韩亚洲欧美| 少妇久久久久久久久| 欧美欧美啪啪视频| 婷婷综合久久| 熟女欧美日韩综合婷婷| 26uuu国产亚洲综合| 日韩性爱再线视频| 天天天乱色综合全| 蜜臀久久99精品久久久久电影| 精品国产乱码久久久久久蜜臀| 欧美日韩在线视频网站| 色情综合网| 怡红院成人av| 色五月AV| 久久婷婷亚洲| 天堂综合| 亚洲欧洲日本精品中文a∨| 在线A日本| 日日夜夜狠狠| 樱花蜜乳av| 中文字幕精品资源在线| 曰本熟女视频| 亚洲图片欧美色图| 爱射综合| 在线观看啊啊啊啊啊| 国产亚洲日韩欧| 九九热最新| 99国内熟女露脸视频| 视频一区二区免费在线| 人妻少妇久久久| 亚洲国产精品久久久男人的天堂| 亚洲中文字幕精品一区| 91 丝袜在线| 在线视频亚洲无码| 欧美人妻精品| 久久中出| caorenqi shipin| 久操av在线| 自拍偷拍第26| 色女综合| 波多野结衣一级视频| 97国产精品国| 91香蕉国产尤物视频| 久久免费精品视频免一| 91网站在线播放| 国产AV久久野战精品| 国产精品对白内射| 国产精品人妻无码久久久互動交流| 色情五月综合婷婷| 五月天久久人妻| 午夜天堂啪啪| 欧美gv在线观看| 青娱乐导航AV| 丁香色狠狠色综合久久小说| 丰满人妻-区二区三区免费| 欧美日韩人妻精品系列一区二区三区| 婷婷成人五月天| 日韩精品资源| 五月丁香六月激情综合| 久操97| 欧美精品四区| 日韩性爱1级片视频| 91国产大片| 国产精品免费1区2区视频| 免费看污网站| 欧美色视频在线| 夜夜 中文视频rt| 日韩人妻免费精品| 人爽不卡视频| av操操不卡| 欧美传媒| 久久9精品网站| 强免费黄色网址| 久久久涩| 97视频7| 新婚人妻扶着粗大强行坐下| 欧美se综合| 亚洲国产剧情少妇激情| 天天日少妇逼AV| 美女被啪到深处抽搐视频| 天天干天天日天天射黄色片| 久久久免费的精品| 国产久久天堂资源| 97色97好| 国产自偷自拍一区| yw尤物av无码点击进入麻豆| Blackedraw视频一区二区| 日本黄色大片一级视频免费麻豆| 日本孕妇孕交| 久久久久性熟视频| 日本123区操B视频| 内射小黄片| 97人人色| 久久男人网| 亚洲欧美日韩夜夜| h无码动漫在线观看| 91亚洲欧美激情| 亚洲精品国产AV天美传媒| 欧美一区二区观看在线| 国产大学生口爆吞精合集| 校园春色美腿丝袜| 狠狠做深爱婷婷久久二区| 99re9在线| 日韩综合无码色欲vv| 91精品国产91熟女| 97在线亚洲| 一区麻豆 高清中文字幕| 国产中文字幕曰本毛片| 国产精品一区二区久久精品| 一区AV| 日日嗷| 精品乱码久久久久| 91高跟美女在线播放| 开心激情婷婷| 黄片无码在线制服| 99精品欧美一区二区三区桃色| 国产精品9999| WWW.操逼.COM| 日韩亚洲精品一区二区| 黄色香蕉视频网站一区| 国产毛片片精品天天看视频| 人人操 欧美| 天天影视91看看| 久久综合久色欧美综合狠狠| 五月开心久久AV官网| 五月天春色激情网| 亚洲AV免费在线观看| 久久五月婷| 亚洲一区二区三区欧美日韩| 99熟女| 曰韩av中文字幕专区| 思思热在线cao| 美女视频尤物网在线看| 成人性爱视频在线看| 日语五十路和六十路亚洲国产精品| 校园春色第一页| 久艹视频在线| 91n处女在线观看| 久久噜噜噜精品国产亚洲综合| 超碰99热中文字幕| 亚洲欧美日韩国产丝袜自拍中文| 成人久久精品| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 日韩综合无码一区久久92| 久9无限国产| 久久激情婷婷| 欧美亚洲自拍另类人妻| 亚洲熟女精品| 日本高清一区二区在线| 天天干人妇| 蜜乳av首页| 四色永久成人网站| 青青草在线成人视频| 亚洲有薄码区日本系列中文字幕| 中文字幕AV片| 久99在线免费观看视频| a片久久久久久久久久久久| 日本操逼视频免费| av网站在线观看了| 手机看片1025| 97人人爱人人做人人乐| 美女91色黄18| 天天插网| 精品久久久久久中文| 91麻豆va国产精品| 人人爽夜夜操| 欧美一级二级三级| 91视频伊人| av午夜影院在线播放| 国产又粗又长又爽又色| 大香蕉伊人色偷偷在线| 久久超碰免费的| 欧美青青草视频| 上床啊啊啊| 日本成人在线不卡一区二区三区| 99久久久无码精品国产人| 亚洲福利中文字幕在线| 尤物av网站| 台湾佬中文娱乐网久久久久久久久久com | 国内伊人久久久久久网站视频| 最新日本中文字幕| 国模精品一区二区三区苹果色戒| 日本天堂网| 中文字幕二区| 欧美精品久久96人妻无码| 国产理论视频在线播放| 超碰97爽| rivers-china.com| 日日夜夜精品| 国产欧美日韩女同性恋ww喷水精品| 久久欧洲| 黄骗免费网站| 少妇滛荡视频| 高清不卡 中文 人妻| 另类天堂| 天天操狠狠日夜夜干超碰撸com视频在线观看 | 中文字幕片| 东北老熟女| 免费福利视频中文字幕| 久久久草成人网站久久久草成人久久久草久久久 | 久热伊人| 人人操人人精品影片| 91免费看一区二区三区| 深爱伊人影院| 国产精品老师| 亚洲日韩乱码中文无码蜜桃臀网站| 亚洲色图欧美色图另类图片| 五月婷婷基地| 青娱乐91| 婷婷精品视频| 天堂性色| 99热色精品| 搡老女人老91妇女熟女| 97婷婷色| 91精品导航| 精品中文一区二区| 人干人人人操人人摸| 日韩少妇丰满亚洲| 自拍偷拍草一草| 久久亚洲影院一区二区| 五月亭亭六月丁香| 欧美色图成人网一区二区| 91东北熟女| 青青11操操操操操操操操| 欧美情色亚洲| 美女露胸露尿口| 熟妇色99| 欧美日韩222| 在线中文字幕| 夜夜久久| 91在线精品| 另类成人首页一区| 欧美黄色大香蕉一区二区| 999熟女精品| 日本日皮视频逼| 欧美色图片欧美色图| a级理论午夜日本| 欧美日韩亚洲少妇寂寞影院正在播放 | 欧美超碰人妻97| 日韩99精品视频综合区| 中文字幕十五区| 亚洲人妻在线一区| 97综合激情| 91精品电影18| 亚洲精品人妻在线| 欧美最婬乱婬爆婬牲视频| 韩国一级婬片A片AAAAA| 国产精品99999| 日本不卡高清免v欧美日韩在线观看| 亚洲国产精品无码AV久久| 91红杏| 久草视频在线视频在线视频在线观看| 超碰诱惑| 久久久婷婷| 91c色| 久久色精品视频在线| 日产国产精品中文久久婷婷| 无码精品久久| 99在线啪| 婷婷亚洲天堂| 精品人妻免费观看| 伦理日韩国产久久| 婷婷情色综合网| 人人做天天爱| 久久久久久中文| 红杏大香蕉| 国产成久久综合片| 成人日本片久久久蜜桃| 富二代亚洲精品99| 激情网色| 久久专区| 午夜操操操| 黑丝少妇麻豆| 国产精品自产拍在线观看社区 | 久久香蕉影院| 无遮挡一级毛片视频免费的| 狠狠色五月亚洲91| 午夜精品久久久久| 国产精品久久久亚洲一区| 欧美日韩*字幕一区| 天天操熟妇| 亚洲精品一二三四区| 探花熟女,姿勢到位,體驗感也到位| 午夜操操操| 超碰97男人| 久久婷婷亚洲| 亚洲精品成人动漫在线| 精品传媒在线一区| 97国产精品在线观看| 伊人国产av| 狠狠操狠狠爱| 嫩草影院在线观看精品| 欧美成年人性爱视频免费观看| 国产日产欧产美韩系列麻豆免费| 蜜桃视频一区二区三区| 超碰公开久久网| 四虎影院成年人片| 国产 亚洲 丝袜 制服| 少妇厨房愉情理伦片bd在线观看| 日韩综合97p| 天天操天天谢| 蜜桃臀久久| 偷拍综合亚洲| 夜夜爽爽夜夜精品视频| 成人综合网 欧美| 欧美日韩夜夜| 青青11操操操操操操操操| 粉嫩在线一区二区懂色| 99久久久无码国产精品性男| a在线观看| 男人a天堂手机在线版| 性暴力欧美猛交在线直播| 97操| 日韩啊V| 久草加勒比一区在线| 欧美九九九| 丝袜美腿操av| 蜜臀久久99精品久久久久久婷婷 | 国产操偷| 日韩啪啪网| 欧美一区二区亚洲天堂| www.av在线观看| 全免费a敌肛交毛片免费| 伊人激情五月天一区二区| 91精品国产91久久福利| 69视频入口| 国产综合日韩伦理| 欧亚成人| 日韩欧美国产高清视频| 探花激情视频| 人妻久热在线| 欧美成年人性爱视频免费观看| 超碰诱惑| 99无码狠狠久久| 久艾草在线精品视频在线观看| 欧美性爱综合,免费| 99e久久国产精品| 中文字幕91页| 丰满人妻一区二区三区免费,| 五月丁香六月婷| 欧美视频在线第3页| 不卡九肏| 日日干夜夜欢| 日夜精品| 粉嫩av平台| 日本视频在线观看污污污| 久久肏大逼| 无码9区| 亚洲天堂综合AV| 黑丝少妇麻豆| 97在线资源| 99精品综合久久久久五月天| 亚洲av性爱电影| 91丝袜美女国产| 97色爱| 欧美最大综合网| 伊人久久AV诱惑悠悠| 黄色成人网久久久久久| 大香蕉五月天婷婷| 任我爽视频在线观看| 青青草男人天堂| 中文字幕丝袜| 国产网站在线播放| 九九久久久久久爱| 骚熟女AV网| 免费无码婬片AAAA片直播色戒| 亚洲AV无码翔田千里网站| 97久久超碰| 亚洲区限制级| 91高潮| 人妻少妇被猛烈进入中| 青青操97| 日韩图色| 91干熟女| 欧美综合777| 超碰在线人人射| 囯产乱伦一区二区三女 | 国产精品久久久久久夜夜夜| 天堂涩涩| 伊人网免费视频| 亚洲中文国际强奸字幕| 欧亚日韩中文在线| 色噜噜人妻丝袜a∨先锋影| 丰满少妇一区二区三区专区| 欧美97网| 无码视频黄色网战| 啊好爽快点-国产一区二区三区撒尿在线-成人AV| 久久久久久久久国产| 日韩字幕一区| 青娱乐 成人娱乐在线| 天操天操夜操夜月操月年年操操| 一本色道熟妇| 女人与公拘交酡2020视频| 91精品丝袜在线观看| 试看福利| 亚洲天堂五月天国产| 欧美激情综合| 97超碰这里只有精品| 香蕉国产精品麻豆亚洲欧美日韩| 91人人爽人人爽人人人,gav福利视频导航,日韩欧美亚洲国产字幕四区 | 精品成人亚洲午夜电影| 97久久免费| 91无人区卡一卡二卡三乱码入口最新版:能让用户有更多选择的选择-经典说说-爱 | 亚洲中文国际强奸字幕| 天堂综合| 一级黄色性爱A级片| 午夜欧美神马久久久久| 6080YYY午夜理论片在线观看| 国产精品一区人妻精品阁在线| 天堂亚洲精品| 日韩欧美午夜视频在线| 国产成人啪一区二区| 亚洲国产精品有声| 欧美亚州色的图| 日韩成人精品视频自拍| 国产精品国产| 午夜免费福利视频一区| 国产欧洲精品亚洲午夜拍精品| 国产aⅴ无码片毛片一级网站| 歐美性天天| 人人 操人人 操人人| 国产精品久久久久无码A√| 青青青国产| 97视频在线| 精品人妻一区二区三区-国产精品| 99re免费| 96久久久精品| 色人久久| 视频国产欧美在线播放| 亚洲熟久久| 亚洲中文一区二区三区| 久久老熟女| 2020中文字幕| 精品欧美А∨无码黑人大荫蒂| 亚洲图片欧美另类综合免费视频大大香| 久久精品国产亚洲AV无码电影| 男人天堂无码| 1024亚洲中文字幕久在线看片你懂的 | 精品人妻一区二区三区不卡断 | 色色色综合| 国产 日韩 欧美一区| 性色国产东北露脸精品视频| 日本不卡二三区| 天天精品| 欧美色999| 亚洲色情在线影视| 91狠| 一区操逼日比视频| 啊啊啊免费| 天天舔天天日天天射| 国产高潮AA片免费看| 欧美亚洲| 国产精品久久久午夜夜伦鲁鲁| 人人色97| 亚洲精品aa久久伊人| 中日韓欧美高清| 国产情色在线| 亚洲中文字幕乱码无码一区二区| 国产精品无码在线| 内射夫妻三片| 自拍六区| 狠狠干妹子| 啊啊啊啊啊在线视频| 人妻人人操| 国产日韩区| 国产欧美在线观看免费观看| 久久久涩| 日本精品久久久久久久| 大香蕉手机在线视频| 亚洲偷拍自拍在线视频| 麻豆国产视频精品观看| 91爱| 另类欧美色| 一区二区播放| 久久久少妇诱惑精品视频| 后入内射蜜桃臀| 婷婷五月天成人网| 91久久久久久| 在线人人人人人人精品超| 欧美色www亚洲国产阿娇要播| 综合色拍| 北京美女一区二区| 后入式免费视频| 97伦乱| 人澡逼| 男人把坤坤插入女人的下体| 乱码熟妇人妻久久久| 毛片17S| 高凊专区人人操| 性爱久久| 久久手机视直播| 人妻少妇色综合| 偷窥自拍亚洲天堂网爆| 99久久九九| 色婷婷色99国产综合精品| 中国探花熟女| www.夜夜| 九九色色| 美女尤物福利视频| 国产精品乱码久久久久久久久久久久| 欧美专区第一页| 超碰这里只有精品| 韩国黄色片精品久久久| 日韩人妻一二三区视频| 丰满人妻被猛烈进入中| 成人一二| 九色精品视频导航1| 久久久久久日韩| 一线黄色免费性爱片| 欧美强奸一区二区诱惑| 国产成人久久久精品免费AV| 日本午夜福利影院| 69人妻人人揉人人躁人人精品| 大香蕉碰碰| 美女露胸露屁股| 日韩午夜国产| 色网1| 亚洲好色人妻| 久久狠狠色噜噜狠狠狠狠97| 校园春色 男人天堂| 久久人妻四季| 九热超碰| 亲子敌伦对白在线播放| 欧美中文字幕日韩在线| 玖玖玖玖精品国产剧情| 国产日比| 亚洲色性情三级| 九九免费影片| 亚洲欧美黄| 久久精品国产欧美日韩亚洲欧美日韩中文久久国产一区 | 国产精品视频精品一二| 中文字幕第页| 欧美 亚洲 综合 制服 另类| 久久久久久久久9| 国产品精品自在在线午夜免费| 激情无码日韩| 天天综合亚在线| 超碰97在线色男人??| 中文字幕乱码在线观看| 色黄色美女大长腿午夜视频| 免费精品福利在线观看| 日韩欧美视频青青| 97精品视频网站| 欧美色图欧美| 日韩AV无码中文一区二区| 天天综合色| 丝袜高跟澳门91视频| 久久久久久9| 另类一区| 98精品国产乱码久久久久久| 欧美人妻少妇| 久久国内| 国产午夜视频| 屌逼传媒| yy少妇精品久久| 日本成a人v网站在线观看| 99久久精品国产高潮| 九一综合精品视品av| 色狠狠一区二区三区香蕉| 国产女人与拘做受视频免费| 久久久久久久少妇| 亚洲一区二区中文字幕| 亚洲欧美日韩精品久久久一区二区| 国产极品999| 亚洲九九爱| 射丝袜大香蕉| 亚洲国产综合视频| 三级片网站在线播放| 国产成人主播| 中文人妻av高清一区| 一色网男人的天堂| 亚洲欧美另类图片| 日本 欧美 亚中文字幕| 久久女女| 天堂8在线新版官网| 后入福利视频| 秋霞影音一区二区三区| 色女免费在线观看视频网址| 少妇一区二区三区精选| 青青草大香蕉在线视频| 激情抓乳插进去啪啪啪日韩 | 日本高清一区二区在线| 超碰欧美97资源| 黄片免费久久久久久久| 制服丝袜第二页| 日韩黄片视频试看| 91总综合网| 看大黄色大片原件| 国产精品剧情| 少妇二级| 国产精品天堂| 蜜臀av中字字幕网站| 久久精品国产亚洲AV先锋| 久久久久久久九九九九九九| 偷拍综合网| 久久久久久久久久久97| 成人小说视频在线精品欧美| 日韩超碰精品综合| 在线播放免费av福利片| 日韩精品大香蕉伊人在线| 狠狠中文字幕| 中文字幕午夜精品久久久| 国产精品老师| 啊啊啊免费视频| 97中文字幕色| 色欲无码人妻日韩欧美精品| 经典丝袜一区| 五月天激情小说| 狠狠操狠狠操操| 天天欧美色| www久久国产精品| 亚洲综合小视频小说在线观看| 天天躁日日躁xxxxx| 97超碰欧美手机在线| 五月丁香综合激情| 操操逼视频| 偷拍综合亚洲| 人人操AV| 午夜视频好爽啊| 97人妻人人躁人人玩人人| 男人亚洲91首页在线| 无码一区二区精品视频久久久春药| 韩国国产欧美情侣视频在线| 熟女精品一区二区三区| 秋霞网无码| 久久影视二区三区行押| 97综合在线观看| 国产一级不卡在线观看| 9999久久久| 一区二区视频你懂的| 日本黄 R色 成 人网站| 日韩三A大片在线观看 | 开心五月婷婷激情| 久久久久女教师免费一区 | 秘书高跟黑色丝袜国产91在线| 日本天天操| 久久久久久夜夜夜夜夜| 免费啪啪av| 日韩欧美女求操每天更新| 激情亚洲天堂| 五月丁香在线| 国模无码一区二区三区在线| 欧美第二页| 97亚洲国产| 国产午夜福利视频在线| 欧美日韩第一页| 日韩无码黄色片| 国产精品又黄又猛又粗| 无码人妻一区二区三区四区老鸭窝| 美日韩一二三区| 男人下部插入女人下部| 91oumei| 中日高清无码操逼视频| 强奸乱伦资源| 欧美精品日韩久久久九| 免费岛国一级片| 少妇无码999| 91国产丝袜美女| 美骚妇av高清在线| 啊啊啊啊啊在线观看网址| 任你爽视频| 日本五十路熟女一区二区| 亚洲最新Av| 日韩欧美加勒比| 日本国产二线女色| 蜜臀AV成人精品蜜臀| 泰国AV在线观看| 日韩三级一区| 久久久一区二区三区四曲免费听| 日本在线视频导航| 综合久久欧美| 亚洲蜜桃V妇女| 中国AAAAAA黄色片| 亚洲影院无码在线| 久久亚洲AV无码白度| 天天澡天天爽日日AV| 国产精品视频在线观看| 青青草大香蕉视频| 人妻人久久精品中文字幕| 精人妻无码一区二区三区伊人直播| 99精品丰满人妻| 久久一二三四不卡| 91n免费处女| 亚洲日韩东京热一区| 啊啊啊啊啊啊啊在线| 大乔未久88一区| 青青草无码视频| 亚洲欧美日韩中文久久自慰| 丝袜狂射91| 久久久久久久久9| AV天堂因数| 亚洲另类天堂| 四虎国产精品永久入口| 久久精品国产亚洲AV高清演员表| 欧插网站| 大香蕉免| 久久超碰av在线| 亚洲高清欧美总合| 蜜臀久久99精品久久久久久无删减| 久久久久久网址| 国产免费操逼| 国产一区二区三区影片| 成年女人一区| 久久久∴| 蜜桃网熟妇| 天天干人人看综合| 曰本人妻人人澡人人夹| 黄色片大香蕉| 第二页中文字幕| 男人的天堂在线| 激情在线青青操| A级国产欧美激情在线| 中日韩久久久| 狠狠综合网| 亚州久久9| 国产精品午夜福利| 精品美女久久久久| 亚洲三区视频| 99热这里是精品| caopeng97人妻| 欧美韩日精品99综合| 女性喷水高潮在线观看| 欧美激情中文字幕另类小说| 五月婷婷综合网| 97国产天堂岛| 欧亚三区动漫| 日本三级A片网站com| 久久曰曰| 免费亚洲国产精品久久一区| 青娱乐91| 欧美很很操视频| 日韩精品操少妇| 亚洲毛片久久| 国产麻豆福利av在线播放| 夜夜嗨AV一区天天| 日韩欧美蜜桃精品久久中文字幕久久| a亚洲欧美色欲| 五月激情影院| 日韩av电影网站| 被男人吃奶很爽的毛片| 蜜臀av在线播放一区二区三区| 色第一页| 91人人操| 婷婷综合在线| 大干人妻| 亚洲精品xxx| 色眯眯射| 2024黄色视频| 欧美一级色| 天天综合网合集91| 在线看的av| 91骚熟女| 免费精品99| 久久久一二三四区| 综合伊人激情| 婷婷国产精品九区| 欧美色性情| 婷婷综合在线| 97超碰影音| 亚洲二区精品在线观看 | 人人操人人色网| 嗯嗯啊在线视频| 亚洲色人阁| 噜噜在线| 亚洲综合九九| 五月天精品| 日韩超碰97| 久操视频免费在线观看| 国产9l 大屁股| 能看的AV| 天天肏视频| 国产欧美美女免费观看视频| 搡老女人老熟女91老熟女综合网| 色色丁香| 国产成自自拍在线观看| 操操操五月天婷婷丁香影院| 99视频自拍区| 国产超碰| 欧美小说区视频区| 久久五月综合| 九九碰九九爱97超| 久久成人午夜狠狠| 青青草吊丝| 人妻黑丝袜电影| 黑人操一区二区| 加勒比伊人影院| 亚州操逼网| 992视频一区| 人妻啊啊人妻啊| 亚洲欧美国产va在线播放频| 日韩钢筋无码高清啾啾啾| 夜夜天天噜狠狠爱2021| 精品妇操一区二区三区| 日本99久久| 亚洲色图欧美一区二区不卡| 啊啊啊好湿久久| 丁香五月色| 国产白丝网站| 亚洲色天堂日韩中| 伊人久久综合影院精品久久久| 加勒比综合九九99视频在线播放| 色嗨嗨在线| 婷婷8月天青娱乐| 99啪| 最新三级网址| 2017,超碰| 91人妻视频在线| 午夜福利免费福利视频| 性生活性生大爱77AV国产| 美女黄页| jk白丝没脱就开始啪啪| 久久伊人影院| 欧美精品双插| 9999免费精彩视频| 亚洲阿v天堂在线| 国产吹潮女在线观看| 午夜人妻精品综合在线| 在线看的av| 久草免费在线视频| 日欧毛片久久| 无码国产精品午夜不卡(| 人人操人人色网| 是还免费视频1727我| 日本三级久| 伊人久久大香线蕉无码| 女人综合网| 狠狠躁天天躁日日躁97| 欧美少妇一区二区三区| 亚洲欧美在线观看2021| 欧美高清18A片| 亚州精品人妻一二三区| 日本一片一区| 大香蕉520| 永久免费发布性爱网| 欧美日韩在线小说| 夜夜爽夜夜摸夜夜操免费视频| 狠狠中文字幕| 丁香五月婷婷啪啪| 99这里只有精品国产| 丰满人妻区一区二区三| 人妻人久久精品中文字幕| 96免费视频在线| 亚洲色图大香| 狠狠爱综合| 久久社区一区二区三区| 伊人一级免费黄片| 少妇熟女一区二区三区| 91在线国产后入风骚翘臀美女素人| 欧美爆操91| 2020视频1区2区3区| 黄色av一区二区在线| 福利社区午夜一区二区| 亚洲一区在线观看欧洲| 亚洲国产97| 久久久久女教师免费一区| AV色五月天| 美日韩一二三区| 亚州精品丝袜-不卡成人免费| 国语国产操逼伊人AV网| 久久 国产 无码| 影音先锋每日最新资源在线观看| 夜夜躁狠狠躁日日躁av| 91欧美www| 夜夜嗨老熟女AV一区二区三区| 精品无码人妻一区二区免费蜜桃| 人人操人人狠狠操| 曰韩操B| 亚洲啪啪综合?v一区综合精品区| 日韩综合色图| 无码人妻一区二区三区免费九色| 久久激情视频| 日产精品久久久一区二区| 97伪v| 老司机午夜福利视频一区二区| 91激情网| 九区国产| 99福利社| 丝袜 中出 制服 人妻 美腿 中文字幕| 亚洲资源吧| 91激情国产| 日比av无码| 大香蕉伊人网| 蜜乳AV免费观看| 在线看的av| 巨爆乳一区二区爆乳区| 欧美人妻一区| 99这里有精品视频| 精品久久久无码| 亚洲狼狼干综合1| 密臀AV在线| 欧美在线综合| 亚91网| 成人毛片免费| 成人无码电影在线观看网| 一区操逼日比视频| 强奸乱伦大香蕉网| 91 刺激在线| 亚州人妻| 少妇丝袜在线观看AV| 欧美同性恋 的搜索结果 - 91n| 欧洲亚洲人妻无码久久三区四区| 欧美色图亚洲色| 国产二区三区免费视频| 国产熟女完整版中字| 精品国产精品一区二区| 国精品一区二区三| 伊人久久亚洲中文字幕不卡| 色网亚洲人| 亚洲欧美天堂| 欧美亚洲素人制服精品| 丰满人妻大屁一区二区| 欧美视频在线第3页| 97在线观视频免费观看| 国产精品白丝AV| CCYY草草影院地址入口| 黄页视频网站野外| 超碰97起碰| 97er欧美性| 欧美资源| 91 亚洲 欧美 日韩 国产 综合| 久久九九综合| 日本男人插女人的逼黄色| 日本道人妻久久久在线不卡色视频| 久久国产成人精品国产成人亚洲 | 欧美黑人与女人91~| 中文字幕文字幕无码一区二区三区电影99| 91操熟女视频| 久久久亚洲高清不打码| 日韩人妻资源网| 色婷婷A V一二三四区麻豆综合| 大象AV在线| 日韩一区二区三区四区五区 | 天天看精品动漫视频一区| 亚洲av乱伦色图网站| 精品176精品2| 亚洲欧美另类图片| 久久久久久AⅤ无码免费肉站 | 色噜噜人妻av中文字幕| 天天夜躁日日躁狠狠2002| 五月婷婷六月色| 任我爽在线视频免费观看| 91青青草| 五月婷婷综合在线| 97免费视频在线观看视频| 欧美性爱精品七区| 日本三级大片| 91成人亚洲色图| 国产精品久久久久无码Av网曝门| 激情五月婷婷| 在线色资源| 为用户提供免费看黄网址在线观看| 96精品在线| 99色热| 国产高潮AA片免费看| 福利大香蕉| 九月丁香婷婷色| 黄总AV色图| 色在线视频导航| 91九久| 男人综合网| 五月激情综合网| 78精品| 精品超碰国产| 日本三级精品| 亚洲一区日韩| 亚洲性高潮| 九九热在线视频| 啊啊啊啊无码| 亚洲色五月| 欧美色图91| 日夜啪电影| 私人尤物在线精品不卡| 国语人妻精彩刺激| 亚洲欧美天堂| 欧美在线官网| 1769一区| 91九久| 日韩 国产 欧美自拍| 欧洲亚洲人妻无码中字久久三区四区 | 精品九九九九| 91色艳| 中文字幕美女91| 超碰天天操| 久草国产在线视频| 欧美在线干| 蜜臀AV网站| 欧美亚洲首页| 欧美色五月| 97超碰超| 色哟哟-国产专区| 欧美一级美片在线观看免费| 日韩欧美偷拍美女视频| 日本国产高清色www视频在线| 欧美老妇女内射网址| 美女诱惑一区| 有码人妻系列| 国产亚洲性生活视频播放| 国产四虎在线| 欧美天天综合| 青青草原综合久久大伊人精品| 日韩操逼HD| 一二三四区电影| 色性综合| 强奸乱伦大香蕉| 国产不卡的视频 | 久久午夜色播影院免费高清| 二级久久网| 亚洲高清无码免费观看视频| 九九九九九九九九九国产精品| 伊人大香蕉在线| 尤物网址| 熟妇女伦乱视频| 蜜臀99999| 亚洲欧美国产其他二区| 五月婷亚洲精品天堂| 亚洲免费精品一区| 91丨熟女丨丰满熟女| 九九无码| 综合91网| 97干日韩| 在线观看精品国产免费| 大香蕉淫人网| 小骚逼被操的爽不爽| 久久九九网| 中文字幕日韩电影人妻| 熟妇人妻丰满久久久久久久无码| 97香焦色区| 欧亚性爱视频免费看| 国产精品96久久久久久| 欧美 综合 亚洲| 日韩性色b| aⅴ日韩成人电影av在线免费看av大全| 超碰2017| 久久久999国产| 亚洲有码第一页| 欧美色图片91| 国产精品色色| 天堂中文资源在线bt| 一个人免费视频观看在线WWW| 91亚洲网站| WWW美腿丝袜香蕉中文| 91国产大片| 国产蜜臀精品一区免费尤物| 在线综合色| 综合性视频99| 99操| 亚洲欧美精品一区天堂久久| 男人a天堂手机在线版| 翔田千里爆乳巨臀无码| 欧美操逼录像国产黄色国产| 蜜屁Av| 日韩激情视频| 91国产精品在线看| 三级三久久线久久99久目本WW| 亚洲欧美综合区自拍另类 | 乱伦图av| 亚洲欧美精品国产一区二区| 女沟厕偷窥piss小便| 蜜臀AV一区二区三区| 伊人在线大香蕉视频久久| 婷婷五月天无码| 极品粉嫩一区二区| 特污免视频| 国产欧美伊人| 91久久精品国产| 中文字幕高清20页视频| 天天操综合网| 欧美日综合| 桃花色涩综合影院| 大香蕉伊人一区在线观看| 人妻熟女字幕一区二区| 国产67194| a网站免费观看| 五月婷婷激情| 狠狠色丁香| 九九在线精品| 最新欧洲欧美日本激情网站| 色婷婷香蕉| 日日狠狠久久偷偷色综合免费| 欧洲色色| 欧美另类色图片| 欧美综合97www| 久久亚州高清| 美女97超碰|