日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

ArmNN源碼級評測與ARM64邊緣推理部署實踐

ArmNN源碼級評測與ARM64邊緣推理部署實踐 1. 當邊緣算力不再是錦上添花為什么我盯上了ArmNN做端側AI這兩年最深的體會就是“模型上板容易跑得舒服難”。手里有個訓好的模型要么是塞進手機SoC里被廠商的私有Runtime綁得死死的要么是轉(zhuǎn)到NPU上被算子的不支持列表勸退要么是硬啃C手寫推理代碼一個算子優(yōu)化掉半條命。直到我認真開始做Arm架構下的源碼級評測ArmNN這個名字才真正從“聽說過”變成“值得深挖”。ArmNN是Arm官方開源的推理引擎官方定位是面向Arm Cortex-A系列CPU、Mali GPU以及Arm NPUEthos-U/Ethos-N系列的高性能推理框架。它和TensorFlow Lite、ONNX Runtime這類通用引擎最大的區(qū)別在于它天生就是為Arm體系設計的背后不是“兼容”Arm而是“壓榨”Arm。換句話說同樣是跑在RK3588、樹莓派5、飛騰D2000、麒麟990這類板子上ArmNN在算子調(diào)度、內(nèi)存布局、SIMD指令利用上吃得更透。這篇東西我不是來貼官方文檔的而是帶著源碼審計的視角把ArmNN的架構分層、核心執(zhí)行流、算子注冊機制、后端調(diào)度策略這些關鍵點全部翻一遍再結合我實際在一臺飛騰ARM64板卡上的部署過程把能復用的實操步驟和踩過的坑一并寫出來。適合已經(jīng)在做端側推理、準備從零接入ArmNN、或者正被TFLite算子兼容性坑得想罵人的朋友。2. 全景拆解ArmNN的架構分層或者說它憑什么比通用框架更懂Arm2.1 從輸入到輸出的完整鏈路圖優(yōu)化、工作負載調(diào)度、后端執(zhí)行先不說太細的代碼我把ArmNN跑一個模型時的整體流程畫在腦子里你往引擎里丟一個輸入張量它先走前端解析層把模型文件解析成內(nèi)部IRArmNN的Graph對象然后是中間優(yōu)化層做算子融合、布局轉(zhuǎn)換、常量折疊再往后是工作負載調(diào)度層把優(yōu)化后的圖拆成一個個可執(zhí)行的Workload最后由后端執(zhí)行層交給具體的計算后端CPU的NEON后端、GPU的CL后端、NPU的EthosN后端去跑。這個架構看起來和TVM/ONNX Runtime的分層設計差不多但ArmNN的關鍵差異在于它每一層都是圍繞Arm硬件特性來設計的。前端解析層不是簡單地把ONNX/TFLite的節(jié)點“翻譯”成自己的算子而是會記錄原始模型的布局信息——比如TFLite默認的NHWC布局在ArmNN內(nèi)部會被融合進后續(xù)的布局優(yōu)化里避免在CPU后端上做無謂的transpose。中間優(yōu)化層更狠它有一個基于“可替換子圖”的優(yōu)化機制。比如一個Conv2D后面緊跟BatchNormalization很多框架的優(yōu)化器只是在圖層面做foldArmNN則是在構建Workload前會嘗試把BN的縮放因子直接折疊進卷積權重里。這個機制不是靠一堆硬編碼pattern實現(xiàn)的而是通過Graph的拓撲排序和Layer的visit機制一層一層去檢查“當前層是否支持與相鄰層融合”邏輯非常干凈。工作負載調(diào)度層是最常被忽略但又最關鍵的一層。每個Layer在優(yōu)化完成后會被“分配”到一個后端上ArmNN用IWorkloadFactory接口解耦圖結構和底層硬件。這意味著同一個圖在支持GPU的設備上會自動把卷積類算子的工作負載丟給CL后端在只有CPU的環(huán)境里則走NEON后端。審計源碼時你會發(fā)現(xiàn)這個調(diào)度決策不是全局統(tǒng)一切換而是逐算子進行的——也就是說一個模型里可能卷積走了GPU、池化走了CPU、最后的Softmax又回到CPU這種異構調(diào)度的精細度是很多通用框架不具備的。2.2 源碼倉庫結構審計我在ArmNN里找什么ArmNN的源碼倉庫GitHub上的Arm-software/armnn目錄結構其實非常規(guī)整但第一次進去的人容易迷路。我按審計的習慣把核心目錄過了一遍挑重點說src/armnn/核心庫Graph、Layer、Workload、Optimizer全在這。這是源碼審計的主戰(zhàn)場。src/backends/各后端實現(xiàn)neon/、cl/、ethosn/、reference/都在這里。每個后端目錄下都有WorkloadFactory、LayerSupport、Backend等核心類。src/armnnTfLiteParser/、src/armnnOnnxParser/解析器把外部模型格式轉(zhuǎn)成內(nèi)部Graph。tests/單元測試和集成測試很多對源碼行為的理解可以靠測試用例反推。我做源碼審計的套路是先看src/armnn/Graph.cpp里的AddLayer、Connect、TopologicalSort這些核心方法搞清楚一張圖是怎么被構建出來的再去看IRuntime和IWorkloadFactory的接口定義理解執(zhí)行期發(fā)生了什么最后進到后端目錄里看NEON后端的NeonWorkloadFactory是怎么把ArmNN的Layer映射成arm_compute庫的Function。這里有個很重要的點ArmNN的CPU后端不是自己寫卷積實現(xiàn)而是封裝了Arm自家的Compute LibraryACL。所以ArmNN的NEON后端本質(zhì)上是“ArmNN的圖結構 ACL的高性能內(nèi)核”。審計NEON后端時會發(fā)現(xiàn)大量arm_compute::NEFunction的調(diào)用比如NEElementwiseOperations、NEConvolutionLayer這些。理解了這層關系排查性能問題時你就能迅速區(qū)分是ArmNN調(diào)度開銷還是ACL內(nèi)核本身的開銷。3. 執(zhí)行引擎源碼審計工作負載是怎么跑起來的3.1 從Graph到Workload三層抽象之間的關鍵流轉(zhuǎn)我先說結論ArmNN的執(zhí)行模型可以概括為“Graph構建期做結構、Optimizer期做化簡、Runtime期做映射”。源碼里最核心的幾個類分別是Graph、Layer、Workload和IWorkloadFactory。當我寫一個模型推理程序時第一步通常是構建INetwork往里AddLayer。這一步在ArmNN內(nèi)部會創(chuàng)建Layer對象并插入Graph。值得留意的是此時還沒有任何后端綁定Layer只是“邏輯節(jié)點”。直到你調(diào)用Optimize()方法傳入后端列表ArmNN才會為每個Layer選擇合適的后端并生成對應的Workload對象。我審計時重點看的是Optimize()的流程它在src/armnn/Optimizer.cpp里。大致分三步圖級優(yōu)化遍歷Graph執(zhí)行算子融合和布局優(yōu)化。這里的優(yōu)化規(guī)則很多比如ConvertFp32ToFp16、OptimizeConv2d、OptimizeBatchNorm等代碼集中在Optimizer.cpp里每個優(yōu)化器是一個獨立的pass用Graph::TopologicalSort驅(qū)動遍歷順序。后端分配對每個Layer詢問ILayerSupport接口判斷該層在當前后端下是否受支持、是否更快。這一步的結果存到Assignment里。Workload構建根據(jù)后端分配結果調(diào)用對應后端的IWorkloadFactory::CreateWorkload()創(chuàng)建出真正的執(zhí)行對象。真正跑到IRuntime::EnqueueWorkload()時ArmNN已經(jīng)把整個圖變成了一個IWorkload列表。執(zhí)行時就是逐個調(diào)用Execute()。對于CPU后端這個調(diào)用最終會穿透到ACL的run()方法對于GPU后端則是在OpenCL的command queue上提交kernel。從審計視角來看這段鏈路最重要的收獲是在ArmNN里做算子擴展你永遠需要動三層——Layer定義與解析新Layer類型、Optimizer中的融合規(guī)則要不要做圖級優(yōu)化、后端Workload實現(xiàn)真正的計算函數(shù)。少了任何一層你的自定義算子要么根本跑不起來要么能跑但性能難看。3.2 工作負載調(diào)度與內(nèi)存管理的暗礁SubGraphView與TensorHandle如果只看到Workload列表逐個執(zhí)行你可能會以為ArmNN的Runtime是極度線性的。實際上ArmNN支持SubGraphView的拆分執(zhí)行這對異構模型至關重要。簡單解釋一下一個模型如果卷積輸出要接一個CPU-only的算子那你不能把整個模型都丟到GPU上跑。ArmNN通過SplitSubGraph能力把圖切成多個SubGraphView每個SubGraphView可以綁定不同的后端。源碼中的SubGraphViewer負責找到“可用同一后端連續(xù)執(zhí)行的層段”然后用SubGraphView對象描述這一段。執(zhí)行時IRuntime::EnqueueWorkload會按順序執(zhí)行每個SubGraphView中間自動插入張量拷貝比如GPU多出來的中間結果要拷回CPU內(nèi)存。這塊代碼你可以在src/armnn/SubGraphView.cpp和src/armnn/Runtime.cpp里追。我曾經(jīng)為了在RK3588上跑一個大模型發(fā)現(xiàn)某些層被分到了不同后端然后在內(nèi)存拷貝上吃了不少延遲——這個問題的根源就是SubGraphView切得太碎。解決辦法是在OptimizeOptions里控制后端的優(yōu)先級盡量讓同一類算子聚集到同一個后端上減少跨后端的Copy。TensorHandle這塊也有坑。ArmNN的內(nèi)存管理并不是簡單的malloc/free它通過ITensorHandle封裝了內(nèi)存分配和生命周期。在NEON后端TensorHandle的Allocate()最終會走到ACL的Tensor::allocator()-allocate()上在CL后端則走OpenCL的clCreateBuffer。審計時要注意TensorHandleFactoryRegistry這個類它負責創(chuàng)建并緩存TensorHandle生命周期管理做得不好會導致顯存泄漏這點在實際部署中比性能還致命。3.3 源碼級調(diào)優(yōu)的兩個關鍵開關FP16與Winograd對于想在端側把性能榨干的同學ArmNN源碼里有兩個“白給”的優(yōu)化點FP16低精度推理和Winograd卷積。先看FP16。在src/backends/cl/ClLayerSupport.cpp里有IsFp16Supported的相關判斷。CL后端天生支持FP16NEON后端在Armv8.2-A及以上CPU上也可以開FP16用ACL的F16數(shù)據(jù)類型。我在飛騰D2000上實測FP16推理相比FP32性能提升在1.4~1.8倍內(nèi)存占用直接砍半。但注意不是所有層都支持FP16源碼里會通過LayerSupport做逐算子檢查不支持的就自動fallback到FP32這個機制保證了圖不會因為一個算子不支持而崩潰。再看Winograd。ArmNN在ClConvolution2dWorkload和NeonConvolution2dWorkload里集成了ACL的Winograd實現(xiàn)。你不需要在API層顯式開關ACL內(nèi)部會根據(jù)卷積核大小通常是3x3、步長、輸入尺寸自動選擇。但這里有個隱藏坑Winograd對FP32的精度損失在某些模型上很敏感OCR或者人臉關鍵點這類對數(shù)值敏感的模型我建議把首層卷積關掉Winograd用NCHW布局或顯式設FastMath選項防止誤差累積到不可接受。4. 邊緣推理引擎落地方案在ARM64板卡上從零部署ArmNN4.1 環(huán)境準備交叉編譯還是板載直編這是個戰(zhàn)略選擇部署ArmNN的第一步不是下載源碼而是想清楚你打算在哪編、往哪跑。我遇到過很多朋友一上來就在樹莓派上git clone然后硬編等編譯耗掉兩小時又開始懷疑人生。這里我直接給結論板載直編適合臨時驗證、小模型、PC和板子架構一致的情況。好處是環(huán)境簡單缺點是真的慢飛騰D2000編一次ArmNN加ACL全核跑也要半小時起步。交叉編譯適合正式集成階段。在x86主機上用aarch64交叉工具鏈把ArmNN和ACL編好再推到板子上。我自己這次用的是交叉編譯方案工具鏈用的是gcc-aarch64-linux-gnu。需要說明的是網(wǎng)上有些人推薦用Arm官方Compiler 5/6系列那個主要是針對嵌入式裸機或老平臺如果你跑的是Linuxglibc環(huán)境直接系統(tǒng)自帶的aarch64-linux-gnu-gcc更省心版本夠新就行。我主機是Ubuntu 22.04裝了gcc-aarch64-linux-gnu、g-aarch64-linux-gnu和crossbuild-essential-arm64。ArmNN編譯高度依賴兩個外部庫Arm Compute LibraryACL和Protobuf。ACL是必須的因為NEON/CL后端全靠它Protobuf是給模型解析器用的TFLite/ONNX解析器都依賴它編pb格式。如果在交叉編譯時想省事可以只編ACL的arm64版本然后再編ArmNN時把BUILD_ACL關掉直接鏈接預編譯好的ACL庫。4.2 核心編譯步驟ACL與ArmNN的依賴順序我按自己的實操順序來寫這里的每一步都是踩過坑后的最優(yōu)解。第一步編譯ACLgit clone https://github.com/ARM-software/ComputeLibrary.git -b v23.08 cd ComputeLibrary scons archarm64-v8a neon1 opencl0 embed_kernels1 \ extra_cxx_flags-fPIC -j8幾個參數(shù)必須說清楚archarm64-v8a對應當前主流ARM64板卡含飛騰、鯤鵬、RK3588、樹莓派4B/5neon1啟用NEON指令集opencl0是因為我目標平臺不開GPU純CPU部署embed_kernels1把OpenCL內(nèi)核編進庫文件里雖然這里用不到但如果你后面要切GPU這個scons參數(shù)可以省很多部署時的麻煩extra_cxx_flags-fPIC一定要加不然生成的是非位置無關代碼ArmNN去鏈接時直接報重定位錯誤。第二步編譯ArmNNgit clone https://github.com/ARM-software/armnn.git -b v23.08 cd armnn mkdir build cd build cmake .. -DARMCOMPUTE_ROOT/path/to/ComputeLibrary \ -DARMCOMPUTENEON1 -DARMCOMPUTECL0 \ -DBUILD_TF_LITE_PARSER1 \ -DBUILD_ONNX_PARSER1 \ -DPROTOBUF_ROOT/usr/local \ -DCMAKE_CROSS_COMPILEON \ -DCMAKE_SYSTEM_NAMELinux \ -DCMAKE_SYSTEM_PROCESSORaarch64 \ -DCMAKE_C_COMPILERaarch64-linux-gnu-gcc \ -DCMAKE_CXX_COMPILERaarch64-linux-gnu-g make -j8這個cmake命令里ARMCOMPUTENEON1是必選表示啟用CPU的NEON后端ARMCOMPUTECL0關掉GPU后端BUILD_TF_LITE_PARSER和BUILD_ONNX_PARSER按需開如果你只需要TFLite模型就只開前者CMAKE_CROSS_COMPILEON告訴工具鏈這是交叉編譯場景。第三步在板卡上部署編譯完成后你會在build/下看到libarmnn.so和一堆測試工具。部署時把這些庫文件推到板子上同時注意ACL的libarm_compute.so也要一同部署。還有一個容易忽略的文件是libprotobuf.so因為ArmNN的解析器依賴它。如果沒有板子上跑模型時會報error while loading shared libraries這問題我在頭一次部署時就踩了排查方式是用ldd看依賴。真正跑模型時還需要TFLite/ONNX模型文件。這里建議用TFLite模型入手因為ArmNN對TFLite的算子覆蓋度明顯高于ONNX尤其是量化模型方面。轉(zhuǎn)換模型時用tf.lite.TFLiteConverter按常規(guī)流程導出但有一點特別重要盡量導出FP32模型讓ArmNN在板子上動態(tài)選擇精度而不是在PC上先轉(zhuǎn)成INT8再喂進去因為ArmNN自己有一個針對NEON后端的int8優(yōu)化鏈路你提前量化反而限制了它。4.3 在飛騰ARM64板上跑通第一個模型完整命令與實測現(xiàn)象我這邊目標板子是飛騰D2000的工控機系統(tǒng)是銀河麒麟V10 ARM64。部署完后直接寫一個最小測試程序調(diào)用ArmNN的API。我這里用C舉例因為ArmNN的C API雖然存在但功能覆蓋不完整做正經(jīng)項目還是C更穩(wěn)。先寫一個armnn_infer.cpp核心流程如下#include armnn/INetwork.hpp #include armnn/IRuntime.hpp #include armnn/Descriptors.hpp #include armnnTfLiteParser/ITfLiteParser.hpp int main() { // 1. 創(chuàng)建運行時 armnn::IRuntime::CreationOptions options; auto runtime armnn::IRuntime::Create(options); // 2. 解析TFLite模型 auto parser armnnTfLiteParser::ITfLiteParser::Create(); auto network parser-CreateNetworkFromBinaryFile(model.tflite); // 3. 優(yōu)化模型綁定后端 std::vectorarmnn::BackendId backends {CpuAcc}; auto optimized armnn::Optimize(*network, backends, runtime-GetDeviceSpec()); // 4. 加載網(wǎng)絡到運行時 armnn::NetworkId networkId; runtime-LoadNetwork(networkId, std::move(optimized)); // 5. 獲取輸入輸出張量信息 auto inputTensorInfo runtime-GetInputTensorInfo(networkId, 0); auto outputTensorInfo runtime-GetOutputTensorInfo(networkId, 0); // 6. 構造輸入輸出緩沖 std::vectorfloat inputData(inputTensorInfo.GetNumElements(), 1.0f); std::vectorfloat outputData(outputTensorInfo.GetNumElements()); armnn::TensorInfo inputInfo inputTensorInfo; armnn::TensorInfo outputInfo outputTensorInfo; inputInfo.SetConstant(true); armnn::InputTensors inputTensors{{0, armnn::ConstTensor(inputInfo, inputData.data())}}; armnn::OutputTensors outputTensors{{0, armnn::Tensor(outputInfo, outputData.data())}}; // 7. 執(zhí)行推理 runtime-EnqueueWorkload(networkId, inputTensors, outputTensors); // 8. 打印輸出 for (float v : outputData) std::cout v ; return 0; }編譯這條命令記得鏈接ArmNN和ACLaarch64-linux-gnu-g armnn_infer.cpp -o armnn_infer \ -I/path/to/armnn/include \ -L/path/to/armnn/build -larmnn \ -L/path/to/ComputeLibrary/build -larm_compute \ -lprotobuf -lpthread推到板子上跑我實測的一個MobileNetV2輸入224x224x3FP32推理耗時在飛騰D2000上大概是85ms一幀。這個數(shù)字比TFLite的XNNPACK后端差不多但ArmNN的優(yōu)勢主要體現(xiàn)在大模型多線程伸縮性和算子覆蓋上。值得一提的現(xiàn)象是ArmNN默認是多線程的它在NEON后端內(nèi)部會用std::thread::hardware_concurrency()自動探測核數(shù)。我測試時D2000是8核不加額外配置就能跑滿多核。如果你發(fā)現(xiàn)推理時CPU占用只有一核滿大概率是ACL編譯時沒開neon1或者系統(tǒng)CPU親和性設置有問題。4.4 算子覆蓋度與模型兼容性部署前該做哪些檢查部署ArmNN最難受的其實不是性能而是算子不支持導致的“圖優(yōu)化失敗”。ArmNN內(nèi)置的算子數(shù)量遠不如TFLite很多新算子如TransposeConv的某些變體、GatherND、Range要么不支持要么只在特定后端支持。我的建議是在部署前用ArmNN自帶的armnnConverter工具先把模型轉(zhuǎn)化一遍它會輸出詳細的算子支持日志。比如./armnnConverter --f model.tflite --t tflite --o model.armnn這個命令會直接把TFLite轉(zhuǎn)成ArmNN二進制格式如果中間有算子不支持日志會明確打印Unsupported layer: X。我當時轉(zhuǎn)一個語義分割模型時日志里就報了個ResizeBilinear的unsupported換成了ResizeNearestNeighbor才過。算子覆蓋度問題可以提前在PC上用armnn_tflite_parser的單測樣例摸個底也可以看GitHub上的算子支持矩陣。實話說ArmNN目前支持TFLite的算子數(shù)量大約在150~200個左右覆蓋70%~80%的常見CV/NLP模型夠用但不寬裕。5. 踩過的坑與性能調(diào)優(yōu)實操手冊5.1 交叉編譯時最隱蔽的坑Protobuf版本與ACL的fPIC問題先說交叉編譯這個環(huán)節(jié)。很多人卡在“編譯ArmNN時找不到protobuf”這是因為ArmNN的TFLite/ONNX解析器是依賴protobuf生成的頭文件來解析模型文件的。如果主機上裝的是protobuf v22而ArmNN編譯時用的HOST protoc又是舊版本生成的代碼版本不匹配就會出現(xiàn)一堆protobuf相關的編譯錯誤。我這里的解法是固定用系統(tǒng)自帶protobufUbuntu 22.04自帶libprotobuf-dev是3.12.4并且交叉編譯時把PROTOBUF_ROOT指到交叉環(huán)境的/usr/aarch64-linux-gnu下同時確保protocHOST端和libprotobufTARGET端版本一致。ACL的fPIC問題前面提了一句這里再展開如果scons時沒加extra_cxx_flags-fPIC那么編譯ArmNN時會報類似“relocation R_AARCH64_ADR_PREL_PG_HI21 cannot be used against symbol”的錯誤。這個問題的根因是ACL生成的靜態(tài)庫里的目標文件沒有位置無關代碼沒法被ArmNN的共享庫鏈接。解決辦法就是重新scons一遍加fPIC或者退一步用ACL的預編譯包。另一個想提醒的是不要用Arm官方老版本Compiler 5/6去編ArmNN。網(wǎng)上搜“arm compiler 5.06u7下載”之類的內(nèi)容多半是搞MCU裸機或者老平臺開發(fā)的ArmNN需要相對現(xiàn)代的C17標準老編譯器一編就廢。在64位Linux環(huán)境上一律優(yōu)先系統(tǒng)GCC或Clang。5.2 模型推理精度異常從輸出全0到梯度爆炸的排障思路部署推理引擎后最容易遇到的一個“產(chǎn)品級問題”是模型推理結果和PC端不一致甚至輸出全是0。這類問題在ArmNN里我總結出三個高頻根因輸入數(shù)據(jù)預處理不一致。ArmNN的輸入Tensor默認不做任何歸一化如果你在PC端喂的是歸一化后的數(shù)據(jù)、上板后忘了歸一化結果自然不同。排查時先確保輸入預處理和訓練時完全一致。FP16精度截斷。如果你開了FP16或者模型本身是FP16權重但校驗邏輯對誤差特別敏感會出現(xiàn)幾個百分點的偏差??梢栽贠ptimize時把ReduceFp32ToFp16的優(yōu)化選項關掉用純FP32跑一遍對比。量化參數(shù)不對。TFLite量化模型在ArmNN上需要正確的per-channel或per-tensor量化因子。尤其是一些自己訓練的模型轉(zhuǎn)換時量化因子計算可能有誤。最簡單的方法是先用FP32模型驗證整條鏈路沒問題再切量化。還有一種情況是輸出全0這通常不是模型本身的問題而是輸出張量沒有初始化。我在前面給的代碼里已經(jīng)用outputData初始化為0但如果你創(chuàng)建一個空向量再當輸出緩沖用Flush內(nèi)存里的內(nèi)容可能就全是0了。這問題雖然低級但確實常有。5.3 性能調(diào)優(yōu)從85ms到49ms我做了三件事前面提到MobileNetV2在飛騰D2000上默認耗時85ms。經(jīng)過三輪調(diào)優(yōu)后我壓到了49ms左右整體提升接近42%。這三件事分別是第一件打開ACL的多線程配置。ArmNN本身是多線程的但ACL內(nèi)部的線程池默認可能被限制??梢栽诔跏蓟瘯r調(diào)用arm_compute::Scheduler::get().set_num_threads(8)強制線程數(shù)。修改后從85ms降到了72ms。第二件走FP16推理。因為飛騰D2000支持Armv8.2-A的FP16擴展我把模型用TFLite轉(zhuǎn)換時設inference_typetf.float16然后在ArmNN里用Optimize的ReduceFp32ToFp16選項讓它自動轉(zhuǎn)FP16。這一步磁盤模型變小一半耗時從72ms降到54ms。第三件綁定CPU核與調(diào)整內(nèi)存分配策略。用sched_setaffinity把推理線程釘在4~7核避開系統(tǒng)中斷占用的0~3核同時修改TensorHandleFactory的分配策略把內(nèi)存分配模式從默認的Malloc切換為AlignedAllocator32字節(jié)對齊這樣NEON指令搬運數(shù)據(jù)時不再出現(xiàn)跨cacheline訪問。最終耗時為49ms。這個調(diào)優(yōu)過程說明ArmNN的性能潛力不只是在算子內(nèi)核本身調(diào)度的精細度、內(nèi)存策略、線程配置都會疊加影響最終效果。所以你在板子上跑得慢別急著懷疑框架先上面三件事逐個試一遍。5.4 交叉編譯產(chǎn)物在目標板上常見運行錯誤排查表在目標板上跑ArmNN推理程序時我整理了下面這張故障排查表。遇到問題時建議直接對照能省掉一大半排查時間?,F(xiàn)象直接原因解決方案報錯error while loading shared libraries: libarmnn.so庫路徑?jīng)]配置在板子上執(zhí)行export LD_LIBRARY_PATH/usr/local/lib:$LD_LIBRARY_PATH或把so拷貝到/usr/lib報錯Illegal instruction編ACL時選了不匹配的arch統(tǒng)一用archarm64-v8a確認CPU支持FP16/NEON推理結果全0輸出緩沖未初始化或輸入預處理差異先用全1輸入測通再逐一核對預處理邏輯編譯時報GLIBCXX_3.4.29 not found板子系統(tǒng)gcc版本過低不要用太新的GCC交叉編譯盡量用與板載系統(tǒng)匹配的版本模型轉(zhuǎn)出時報Unsupported layer模型包含ArmNN未支持的算子用armnnConverter導出支持日志替換成等價算子5.5 往NPU遷移的擴展思路從ArmNN到Ethos-U的路徑最后說一個前瞻性話題。ArmNN不只是CPU/GPU推理引擎它對Arm自家NPUEthos-U55、Ethos-U65等的支持是官方路徑。在源碼里src/backends/ethosn/就是一個獨立的后端實現(xiàn)。如果你手上是Cortex-M55/M85搭配Ethos-U55這類MCUNPU組合ArmNN的推理圖可以經(jīng)由EthosNBackend把算子編譯成NPU可執(zhí)行的命令流剩下的算子仍然CPU兜底。這種“CPUNPU混合調(diào)度”的能力在TFLite Micro生態(tài)里是極其難得的設計。但要注意Ethos-U后端要求模型是INT8量化模型且支持的算子清單非常有限基本上是Conv2D、DepthwiseConv2D、Add、MaxPool2D、Reshape這些基礎算子的排列組合。如果模型結構較復雜建議先用Arm的Vela編譯器也是基于ArmNN圖優(yōu)化思路的做模型轉(zhuǎn)換確認支持情況后再跳到ArmNN的Ethos-N后端。6. 寫在實際部署之后ArmNN這套引擎源碼質(zhì)量在我接觸過的推理框架里屬于第一梯隊。它不像TensorFlow那樣渾身上下都是歷史包袱也不像TVM那樣為了極致的自動調(diào)優(yōu)把工程復雜度拉滿它的思路非常清晰做好Arm硬件上的調(diào)度、算子和內(nèi)存管理把其他復雜度交給生態(tài)工具去解決。對想要在ARM64板卡上實現(xiàn)低延遲、穩(wěn)定推理的團隊來說ArmNN確實值得認真考慮。我個人最推薦的使用路徑是先用TFLite做快速原型驗證然后切到ArmNN做正式部署中間用armnnConverter做算子兼容性檢查最后按FP16、多線程、內(nèi)存對齊的順序做三輪調(diào)優(yōu)。這套組合拳幾乎適用于所有Cortex-A系列Linux平臺包括樹莓派、RK3588、飛騰、鯤鵬。如果你手頭有項目正卡在“模型能跑但太慢”或者“TFLite不支持某些算子”的窘境不妨把ArmNN拉出來遛一遛。源碼審計的樂趣不在于讀懂了多少行代碼而在于你終于知道框架在關鍵路徑上替你做了什么、沒替你做什么。搞清楚這兩點端側AI落地這件事會簡單很多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天天影视网综合少妇| 巨乳特殊服务按摩| 操香逼| 欧美成年人性爱视频免费观看| 欧美永久激情一区二区| 色99视频| 奇米四色影视777久久久| 一区二区三区在线日韩影院观看| 久久精品视频在线观看| 人妻AV在线| 亚洲精品三区在线观看| 思思热一热婷婷热一热| 欧美手机在线综合| 妇女视频网站| 日韩精品一区二区日韩| 射综合网| 九一综合网| 插入综合网| 精品黑人一区二区| 国产精品视频麻豆入口| 无码人妻一区二区三区色欲aⅴ| 国产精品在线免费| 大香蕉性欧美| 天天干1区2区在线| 九一综合网| 国内精品不卡无毒99999| 久久久精品成人国产| 国产亚洲精品激情| 中文字幕第9页萱萱影音先锋| 伊人九九| 成人片视频| 97精品一二区| 亚洲伊人久久精品狠狠在线| 九九热九九热| 先锋精品av色鲁| 在线v中文字幕一区二区三区| 日韩高清黄片| 中国操逼无码| 天堂涩涩| 超碰97网址| 伊人影院中文字幕| 三级三级三级日本99| 伊人色综合网电影| 国产尹人在线视频免费| 国产精品视频精品一二| 插日本熟女视频| 无码天天操| 五月天久久综合网| 久久精品福利影院| 久草视频观看视频在线| 99re国产精品视频| 国产一级不卡在线观看| 中文字幕日韩人妻视频一区二区三区| 夜夜国自区| 91美女視頻| 天天超级碰碰碰| 鸥美极品| 天堂伊人久久| 亚洲色图伊人网| 97bbn| 欧美最婬乱婬爆婬性视频 | 爽爽歪在线视频| 成人资源中文字幕在线观看天天| 大香蕉伊人色偷偷在线| 午夜国产乱伦视频| 欧美日本国产日韩激情视频| 久久99午夜精品一区人妻| 欧美一区二区观看在线| 欧美日韩操逼嗦吊| ,国产乱人伦精品一区二区三区| 亚洲……91| 久久天天躁日日躁狠狠躁| 九九九九日本| 智利AV在线网| 中文字幕黄色一起草| 婷婷性网| 天美传媒麻豆一区二区三区国产精| 麻豆天美在线喷水AV| 国产成人啪一区二区| 夜夜夜夜爽| 婷婷探花久久精品一区| 91女神在线视频| 91狠婷| 日韩精品区二区三区不卡| 簧片免费看视频| 婷婷五月天网| 亚洲不卡不卡中文字幕不卡| 久久久久久九九九九-美女久久久久久久-成人AV | 四虎在线免费视频| 伊人国产AV| 嗯嗯啊好爽| 老司机午夜精品视频| 操B视频日韩无码| 欧美性爱日韩性爱| av资源在线播放天堂| 91大神精品长腿在线观看网站| 蜜乳成人AV| aaaa黄片| 天天爱天天操| 超碰97资源中文字幕| 91久久堂| 九九九九九九九| 亚洲高潮影院| 欧美亚洲第一页| www黄片免费看com| 亚洲成人碰碰| WWW.加勒比人妻一区不卡.com| com 首页 18岁 禁区 女优 免费 精选 同城| 欧色网址| 一区二区三区黄色片a| 天美麻豆一区二区三区| 永久电影三级在线观看| 五月婷久久| 午夜呻吟欧美| 久久风骚城市人| 国产精品九九九| 日本视频在线观看污污污| 啊灬啊灬啊灬好深灬快高潮了动漫-国产字幕国产在线观看-B049AV | 欧洲综合色| 美日韩男女操屄视频| 国产三级多多影院2022国产AA一级毛片无码| 欧美日韩国内不卡| 欧美爆操91| 91超级碰| 丝袜制服字幕在线| 少妇色综合| 校园春色AV天堂| 日韩三级伊人| 欧美啪啪女女| 色爱欲亚洲| 涩亚洲欧洲| 香蕉视频欧美一卡二卡| 亚洲精品无码久久AV| 色婷婷狠狠| 99综合自拍| 青草伊人网| J?P?NESEHD熟女熟妇伦| 久久99久久99精品免视看婷婷| 亚洲成人一二三区| 欧美精品 - 91爱爱| 色偷偷男人的天堂麻豆| 日产操逼| 欧美午夜视频精品久久| 国模限制级电影| 青青草久草AV| 色综合国产在线观看| 欧美日韩国内不卡| 天堂麻豆天美| 熟女人妻一区二区三区免费看 | 日本一二区免费| 国产亚卅97| 美女黄页网站| 色官网色综合| 九九英色视频| 亚洲精品少妇| 99色天堂| 99综合自拍| 女人18精品一区二区三区| 97久久精品国产| 五月天亚洲网| 国产黄片在线免费观看| 色99视频| 超碰97在线色男人??| 97视频免费播放| 综合欧美日韩在线观看| 亚洲精品黑丝| 国产精品盗摄 偷窥盗摄| 婷婷丁香五月综合| 久久久少妇诱惑精品视频| 少妇厨房愉情理伦片bd在线观看| 精品色色| 碰超人人在线一区二区三区| 视频国产成人精品日本亚洲18| 天天干天天干天天| 亚洲素人综合| 亚洲精品久久久久久久蜜桃臀| 欧美伦乱爱| av网站在线看| 午夜精品久久久久久久男人的天堂 | 国产乱人伦AVA麻豆软件.| 欧美人妻二区三区| 亚洲一卡二卡在线免费| 欧美AB在线观看| 大香蕉中文在线| 大香蕉520| 色综合1991| 国内毛片婷婷六月色| 五月天色电影| 国产精品白丝在线播放| 91丝袜美腿网站| 婷婷五月天激情四射| 99综合视频一体| 尤物视频新赏网鲜网色诱网| 国产精品久久久久久 百度| 美日韩一二三区| 影音先锋日本乱伦| 狠狠色一区二区中文字幕| 大屁股人妻女教师撅着屁股| 久久成年精品| 亚洲精品尤物yw在线影院| 亭亭丁香激情| 日婷婷| 女人妻一区| 日本久久久久久久久久| 国产精品久久久三级无码| 国产欧美黑人丰满在线| 无码国产精品久久久久| av日韩中文字幕| 秋霞无码av鲁丝片一区| 97操综合| 亚洲成熟国产精品美女| 我爱搞逼综合网| 日本性爱不卡视频| 日本三级精品| 精品妇女一区二区三区| 超碰78| 电影69乱码96| 啊啊啊好舒服视频| 性站 | 人妻少妇精品一区二区三区| 老司机福利青青草| 欧美高清性猛交| 亚洲高清无毛一区二区| 久久久久9999精品九九九| 看黄片视频免费| 久久中文字幕女同性恋一区| 91精品久久久久久综合五月天| 九九九成人| 九九亚洲| 女优大全 - 91n| 午夜精品久久久久久久男人的天堂 | 日韩人妻操B| 一级一性爱免费视频| 91精品人妻一区二区三区蜜桃臀| 国产精品美女在线一区| 亚洲影视高清第一页| 色婷婷99| 天天做天天爱| 人妻一区久久二区三区色播| 播播亚洲小说亚洲| 激情在线青青操| 久久精品亚洲东京热色播| 91香蕉视频在线观看免费| 久久久久无码一妻区| 欧美丰满熟妇XXXX性ppX人交| 97亚洲在线| 久久a久久| 日韩精品在线观看观看| 亚洲九九九| 综合天天网| 中文字幕 国产 精品| 美女网站91| 激情亚洲天堂| 玖玖婷婷五月天| 国产黄色剧情影片麻豆免费播放| 久久久专区| 亚洲av无码成人精品国产| 国产精品美女久久久久久网站| 久久九精品| 9色在线| 啊啊啊啊啊啊在线观看| 97超级欧美| 人妻熟女av国产网站| 天美精品原创av片国产| 伊人少妇久久久| 91社区伊人| 久久9999 | a亚洲欧美色欲| 9999亚洲精品| 一区二区三区在线资源| 淫荡少妇免费| 欧美后入| 亚洲男人天堂2013| 67914亚洲精品| a一区二区三区乱码在线| 欧美另类天堂| 97干天天| 久久久97| 狠狠操使劲操| 欧美一二级| 亚洲日本韩国极品一区二区| 一区二区三区激情在线观看| 天天谢天天干| 欧美 色 亚洲| A一级色女| 97人人爱人人做人人乐| 五月丁香激情啪啪| 午夜福利在线合集| 老司机午夜精品视频| 四季av一区二区凹凸精品小说| 日韩熟女精品无码专区一区二区| 91GD.COM| 成人一级性爱| 亚洲欧美天堂| 青草一区二区| 中文字幕福利视频一区二区三区在线观看| 欧美日韩亚洲电影| 国产精品网站www| 狠狠久久亚洲欧美专区| 91综合无码| 日韩成人精品| 欧美东京热青青草| 欧美天天综合站| 色月天AV导航| 夜夜操二区| 日美免费黄片| 久久69精品久久久久久久| 91熟女丨91老女人| 91天美免费| 国产精品在线一区二区| 久久久穴999| 1024久久高清视频| 亚洲精品视频二区| 99热99色| 欧美日韩性爱电影在线| 亚洲日韩精品一区二区| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 人妻久热在线| 黑操B| 综合久久欧美| 欧美亚洲色图另类国产| 大香蕉一区二区在线观看.| 3PAV乱伦视频| 精品九九九| 亚洲人综合19| 欧美综合天堂| 蜜臀久久久99久久久久 | 欧美成人四级在线播放| 国产精品懂色tv影视免费观看| 99少妇内射| 久久久久人| 91路www| 久久鲁夜| www.狠狠干.coom | 欧美狠狠操| 日本韩国一本产品小视频日本韩国一本产品久久久产品小视频日本韩国一本产品久 | 亚洲色婷婷| 日韩精品一区二区三区色欲| 无套内射性感少妇视频| 国产人妻天天干精品| 欧美视频一区二区在线| 日韩不卡毛片Av免费高清| 无码WWW免费视频网站| 这里只有精品视频在线观看麻豆| 少妇无码av专区线| 99国产在线 精品 视频| 综合 欧美 亚洲 日本| 国产高清成人mv在线观看| 国产A v无码专区| 中国大陆国产高清AⅤ毛片| 少妇xx精品| 乱欲一区二区| 亚洲欧洲国产综合av| 日本高清一区二区在线| 色五月激情综合网| 六月丁香网| 久久久久久大| 久久m| 日本精品免费一区二区三区四区| 午夜精品久久久久久久99热影院| 粉嫩少妇自慰在线| 亚洲色图 综合| 青青草久草AV| 天天影视综合色| 嗯嗯啊啊啊好爽| 97天天综合| 亚洲男人综合| 国产亚洲精品农村妇女| 日韩免费看黄片| 亚洲AV成人在线| 无码9区| 一色网男人的天堂| 伊人色综合超碰| 色噜噜国产在线| 人妻熟女一区二区三区在线| 99后入| 久久久久久九九九九九九| 久久9精品网站| 9I1性色影院| 三上悠亚在线毛片91| 日韩熟女操逼| 91三级理论片播放器| 免费看久久久性性| 欧美日韩性感| 日本99一区二区| 日韩精彩视频| 1240青青草一区二区三区视频天爱| 国产一区二区三区高清视频| 最近2019中文字幕国语免费版| 五月婷丁香| 丝袜天堂| 97爱啪| 亚洲一区二区中文字幕| 亚洲麻豆av一区二区| 伊人久久综合影院| 9色在线| 国产精品久久久视频| 性爱欧美五月| 超碰碰97资源站| 秋霞操逼片| 深夜激情无码| 2025亚洲男人天堂| 日本天堂在线播放| 久久久新亚洲AV| 激情小说成人日本无码一| 免费视频无码| 九9精品| 欧美综合第一页| 国产又猛又粗又爽又黄| 六月激情婷婷| 99蜜桃臀亚洲成人在线观看| 欧美情色亚洲| 久久精品欧美一区二区三区不卡| 午夜大香蕉| 91真人天天在线| 天美传媒AV在线| 日韩欧美国产一区二区三区四区| 激情自拍 校园春色| 综合视频91| 神马麻豆福利院| 狠狠操夜夜| 国产亚洲一黄| 九九九九九九精品| 黄色人人| 久久免费精彩视频| 免费超碰97久久| 五月婷亚洲精品天堂| 国产熟女乱论| 亚洲色悠悠久久88| av网站免费看| 熟女人妻一区二区三区| 一级黄碟在线看| 四虎在线观看视频| 99久久精品国产高潮| 夜夜操av亚洲一区二区| 91亚洲影视| 欧美丝袜制服久久| 蜜臀人妻少妇久久在线观看| 亚洲色天| 欧美丰满熟妇XXXX性ppX人交| 精品一区96| 国内毛片四区| 国产熟女乱论| 秋霞一区二区三区四区五区六区七区| 亚洲无992tv| 色噜噜狠狠色综无码久久合欧美| julia ann久久| 成人无码在线视频网站| 天美国产三级传媒| 97欧美综合网| 日韩欧美亚洲一区二区三区影院 | 亚欧性爱无码| 亚洲色吧网| 老司机福利社视频在线观看| 久久九九视频九九视频| 中文字幕-区二区三区四区视频中国| 91亚洲人| 午夜天堂精品久久久久91| 乱色老一区二区三区的观看方式 | 超碰成人免费| 欧美在线第五页| 亚洲精品国产专区在线观看| 动漫片子网站3黄| 白丝AV| 亚洲超碰在线| 亚洲97网站| 性影在线视频| 日本A级视频| 青青操网| 116美女午夜| 久久精品无码一区二区三区| 五月天综合网| 婷婷激情丁香| 国产 码在线成人网站| 欧美综合传媒| 国产一级αv免费看片| 97网址97| 草草影院最新网址| 1204金沙人妻懂旧版免费| 天天草夜夜草高潮片| 欧美久久婷婷| 日本成人A片网站| 午夜视频好爽啊| 亚洲91亚洲| 凹凸视频在线一区二区| 国产精品经典一卡久久久 | 久久久精品成人国产| 欧美日韩国产人人| 色嗨嗨在线| 丝袜高跟澳门91视频| 性开放中文AV高清无码免费看| 老女人碰碰在线碰碰视频| 日韩亚洲中文有码视频| 日日干夜夜骑| 91热爆在线| 精品美女少妇一区二区| 国产按摩一区二区三区| 91性感在线| 熟女丰满人妻一区| 久久性爱视频免费看| 亚射在线| 91午夜无码| 亚洲熟久久| 91在线精品| 91蜜桃传媒精品久久久一区二区| 在线另类| 亚洲一级性爱视频免费看| 欧美大香蕉卡久久| 大屁股人妻女教师撅着屁股| 亚洲情色在线| 人人做人人妻人人夜视频| 熟女91网站| 亚洲……91| 亚洲AV无码乱码| 亚洲天堂日本| 少妇滛荡视频| 久久婷婷电影网| 日本超碰97日韩精品人妻| 太久视频| 男人天堂毛片| 久久国产精品91| 内射小黄片| 人妻五十路在线| 一区在线观看中文字幕| 久久性爱视频免费看| 久久色一区二区| 欧美性爱伊人| 欧美亚洲天堂| 精品久久九| 国产激情综合| 激情小说亚洲| 亚洲色图 综合| 9久热| 亚洲开心网| 熟妇熟女一区二三区| 久久精品中文字幕无码l| 老熟乱一区二区三区四区| 色黄污美女啪啪啪免费网站| 91国产丝袜美女| 先锋精品av色鲁| 日韩成人精品| 奶水 人妻 哺乳 在线| 性欧美体内射精| wwwcaobibi| 中国AAAAAA黄色片| 九九热午夜欧亚国产视频| 先锋精品av色鲁| 亚洲精品国产专区在线观看| 日韩一卡二卡三卡| 久久免费精品96| 婷婷99狠狠| 久久亚州精品成人Av无| 97久久久久| 午夜精品久久久久| 国产尤物AV尤物在线观看不卡| 亚洲九九九九| 亚洲女人毛茸茸91| 大香蕉综合| 丁香五月天激情| 日韩乱伦AⅤ| 久9九综合在线| 日日骚精品视频| 18精品一区| 亚洲欧美国产其他二区| 成人免费看吃奶视频网站| 97精品在线视频| 伊人色综合欧美| 有码人妻系列| 亚洲色婷婷| 熟女色综合久久| 欧美日韩在线视频网站| 一本色道人妻久久| 秋霞福利网| 嗯嗯啊啊亚欧精品| 婷婷五月天激情网| 日韩人妻一区二区精品| 亚洲精品尤物yw在线影院| 亚洲精品少妇| 蜜臀va69| 综合色拍| 涩五月婷婷| 家庭乱伦性爱av| 日本中文字幕不卡视频| 久夜操| 亚热日本熟女| 日日日啊啊啊| 婷婷五月天伊人| 中国探花熟女| 精品人妻av在线播放| 青娱乐福利99| 久久精品一区二区三区四区五区| 亚洲色图日韩丝袜制服一区二区五月在线| 97精品在线| 啊操爽品善一区二区三区| 久久这里都是精品| 992这里有精品| 国产超碰| 免费簧片在线观看| 国产女同视频在线播放| 日韩成人私密一级精品av| 麻豆成人影音在线| 97网色| 国产AV天美传媒一区二区三区 | 麻豆国产原创AV色哟哟| 91精品91久久久中77777| 丁香五月综合| 国岛片视频| 国产Aα| 青青免费在线视频一区| 成人精品在线免费视频| 97综合久久| 综合久久9| 中文字幕成人乱码熟女精品国50| 亚91网| yazhouzaixian| 中文欧丝袜诱惑| 狠狠爱AV| 中文熟女五十乱码在线| 色踪合AV| 狠狠2050在线观看| 91在线色| 亚洲春色激情小说| 无码一区二区三区四区五区六区七区八区九区十区视频 | 99re公开精品免费视频| 日本三级一区二区 在线| 欧美一区二区一级岛国大片| 亚州熟女乱伦| 9国产超碰| 国产精品久久天天干| 100啪啪视频大全| 国产亚洲性生活视频播放| 伊人久久在线视频观看| 精品一区二区成人| 人妻在线视频| 亚洲超碰在线| 久久久久精| 色婷婷在线视频精品导航| 天天综合网久久ww| 青草香蕉网| 人妻黑丝袜电影| 亚洲91射| 亚洲情色 自拍| 俞拍久久国应视频| 999久久久| 男人女人18禁片免费看网站| 久久国产乱子伦精品免费女人| 2019天天干天天操| 欧美做爰无码A片视频| 亚洲成人在线播放| 精品大久久| 欧美熟女妇同| 久久色AV线| 天天天干977| 老熟女乱伦片| 国产探花精品在线| 亚洲啪啪性视频| 精品少妇一区二区三区免费观看| 欧美日韩222| 无码操逼天堂| 狠狠爱夜夜| 久久久久久网址| 天天摸夜夜添无码小视频| 久久‘黄片视频| 九九Av| 精品久久久av| 欧美精品偷拍| 久久九九精品一区二区 | 日本肉体xxxx裸交| 色五月婷婷五月天| 爱欲AV| 人妻素股| 欧美激情在线观看视频| 国产女人视频三四五区| 国产精品女生av| 狼人久草| 97色欧州| 97爱啪| 变态另类专区| 人人操人人摸人人骑| 国产高清MV操逼视频| 国产亚洲人妻综合日韩 久久| 欧美97在线观看| 精品久久久一本一道| 久久久97| AAAAAAAAA黄片| 天堂种子在线www网资源| 嗯嗯,啊啊,国产精品| 欧美日韩天堂| 伊人骚琪琪亚洲天堂网站| 欧美性爱免费短视频| 91|九色|国产熟女| 超碰97男人| 激情婷婷丁香网| 欧美成人免费在线观看| 欧美国产伊人久久久久| 欧美18禁91| 欧美第五页| 日韩熟女操逼| 亚洲无码色| 日韩精品人妻中文字有码在线| 久久9久| 老熟妇一区二区三区…| 男人天堂2019亚洲| 亚洲色图伊人网| 免费观看日本操逼视频| 精品伊人久久久大香线蕉小说| 欧美熟妇精品黑人巨大一二三区| 暴力av在线| 国产日韩区| 99这里有精品| 91日日夜夜| 欧美不卡在线一区二区| 婷婷色色五月天| 校园春色宗合网| 国产精品白丝在线播放| 激情综合五月| 亚洲青青草| 中文字幕天堂在线| 99色| 国产蜜臀在线| AVE乱伦| 91一起操| 欧美国产有色电影| 九九九国产精品| 99re公开精品免费视频| 宅男91视频在线播放| 亚洲男人天堂网站| 秋霞影音一区二区三区| 超碰午夜在线| 校园春色五月天| 国内毛片免费h片在线| 99久热精品99re6热| 粉嫩av在线| 九九内射在线| 人人操人人操人妻人| 国产男女无套视频免费观看| 国产乱青青草久久| 国产高清26uuu| 歐美性天天| 国产成年女人免费视频播放a| 九一综合精品视品av| 啪啪综合网| 久都青青视频 | 日韩一卡二卡三卡| 99在线观看| 夜夜夜爽www精品视频| 亚洲欧洲网站免费观看| 久久久久久久9最新免费视频观看| 久久性爱精品一区| 麻豆婷婷成人一二三| 欧美一级黄色免费专区| 国产剧情一区在线观看| 久久香蕉国产线看观看亚洲女人 | 国产精品交换一区二区| 精品女同一区二区三区| 免费看日本操逼视频| 天美传媒精品久久视频| 免費黃色視頻觀看一| 干b网| 国产精品无码AV网站| 欧美天天综合站| 色久桃花影院在线观看| 吊色| 国产精品无码av| 天天激色| 丰满岳乱妇一区二区三区| 少妇同性| A级国产欧美激情在线| oumeisetupian| 黄片视频观看| 老熟女区| 五月丁香六月综合缴清无码| 天天摸夜夜摸| 亚洲无码国产探花在线观看| 好爽,再快点啊哈嗯嗯嗯嗯| 人妻天天爽天天爽三区| 大香蕉免| 操东北女人| 五月婷在线| 欧美AB在线| 久草久热| 日语五十路和六十路亚洲国产精品| 日韩人妻少妇中文字幕| 秋霞 色色| 91最新综合| 亚洲国产91精品一区二区久久| SUV一区二区在线看| 99性爱在线观看| 亚洲综合另类色图| 人妻精品视频一区二区| 女生久久网| 欧美久久毛片基地| 一级性爱啪啪视频| 久草久日| 久热久| 600国产精品视频| 五月花婷婷| 女人天堂av在线播放| 丰满搜索结果 -第18页- 久久高清无码| 91人妻最真实刺激绿帽| 啊啊啊啊啊啊啊啊要喷了| 亚洲免费人妻在| 久草加勒比一区在线| 麻豆黄四叶草网站| 777AV电影| 九99久久| 五月天激情国产综合婷婷婷| 狠狠操使劲操| 超碰天天操| 97久久超碰| 伊人超碰97| 久久av色| 无码最新| 黄站在线免费观看| 亚洲天堂中文字幕无码男同| 人人人摸人人| 日韩中文字幕2020| 国产亚洲精品自在线亚洲情侣| 久久春色| 亚洲国产精品久久久男人的天堂| 家庭乱伦性爱av| 久久蜜桃一区二区| 日韩精品 资源| 精品人妻中文字幕4399| 玖色av| 中文字幕老熟妇黄色视频| 亚洲好看强奸乱伦| 少妇高潮九九九九九九九| 欧插网站| 国产操逼视频在线观看| 国产深喉| 美女AV一区二区| 久久婷婷热| 亚洲欧美日韩制服另类| 怡红院网站在线视频| 97人肏| 天天色黄色影院天天操| 日日日日做夜夜夜夜做无码97| 视频二区美腿丝袜制服人妻欧美| 国产一级137片内射麻豆| 五月天AV资源| 久久e6只有精品| 熟女视频久久| 操操操五月天婷婷丁香影院| 亚州精品人妻一二三区| 久久AV无码1区2区3区| 久久久夜夜嗨免费视频| 黄片qw| 中文一区二区| 91扒丝袜综合在线| 在线观看国产黄色| 中文乱码字字幕在线第5页| 五月天精品| 青青草在线视频欧美| 99热精品免费| 天天视频黄网站| 香蕉欧美| 天天操福利视频综合网站| 天天日日舔舔| 一区二区娱乐网站| 中文人妻av高清一区| 天天综合网在线91| 超碰一区二区| 91色图片| 婷婷五月综合在线| 欧美精品23| 日韩一级二级三级在线不卡观看完整| 超碰久久网| 后入内射蜜桃臀| 日本超碰在线国产一区| 人人爱人人操人人性| 日韩欧美福利视频看看| 亚洲中文sv| 2019午夜福利视频| 蜜桃在线观看一区二区三区| 噜噜在线| 精品毛片久久久精品毛片| 日本淫乱女一区二区三区视频| 高潮9999外国| 五月天亚洲网| 你草精品在线视频| 亚洲性综合9| 国产精品免费视频人成| 日本免费中文字幕在线| 26uuu最新| 美女诱惑久久| 亚州欧美在线| 大干人妻| 亚洲少妇色图自慰直播| 高树玛利亚无码流出| 清柠毛片| 熟女突然公开看18禁影片| 日韩精品资源专区二区| 国产老太乱伦一区| 亚洲女人91| 四虎影视国产精品| 成年人免费观看网站| 人妻丝袜肏逼| 亚洲男人的天堂AV| 成人色女网| 九九九九九九亚洲| 日韩97超碰中文字幕| 久久五月份| AA丁香综合激情| 亚洲图片偷拍视频区| 天天干天天狼在线视频| 九色在线熟女国产黑人| 性色生活片久久毛片婬片免费放女人一级毛片| 国产在线综合福利网站| 日韩肏逼视频| 久久人妻| 久久精品久久久久久久| 蜜臀99久| 久久久久久人| 智利AV在线网| 五毛骚逼极品美女怕怕| 96久久久精品| 久久宗合亚洲| 日本中文字幕一区| 校园春色宗合网| 亚洲精品蜜桃久久久久久久| 欧美91网站| 综合97亚洲| 91久久久老司机| 欧美亚州色的图| 91色堂| 国产熟女二区| 玖玖资源中文字幕制服丝袜| 有码色中文字幕在线观看| 亚欧中文字幕在线视频| 亚洲区限制级| 操曰本熟女| 制服丝袜第二页| 午夜操操操| 欧美96交| 天天夜夜rb| 四虎884| 风间由美日韩欧美久久| 伊人性在线视频| 老司机福利社视频在线观看| 国产嫩草精品A88AV| 亚洲综合伊人无码久久| 久久国产乱子伦精品免费女,网站| 国产精品人妻免费精品| 国产辣妈在线视频福利| 亚洲第一免费视频| 久久久久久国产无码精品| 操逼逼无码| 爽爽淫人网| 韩日男人的天堂| 青青草白白色| 欧亚韩国999| 亚洲欧洲综合| 亚洲国产精品无码AV久久| 午夜.DJ高清在线观看免费7| 日韩欧美中文| 久久曰曰| 九热视频| 9九九九九视频在线观看| 日本天天吊| 成人网欧美风情| 最新9久久久9免费视频| 欧美激情 一区| 亚洲超碰97| 久久亚州精品成人Av无| 一区二区三区 日韩欧美| 婷婷色婷婷| 香蕉一区二区三区在线视频| 做爱福利视频一区二区| 97在线/亚洲| 色综合加勒比| 国产精品无码av嫩草| 欧美一级色| 97超碰无码网| 日韩无码AB| 色妺妺AⅤ| 欧美自拍偷拍综合图片| 1769精品一区二区三区| 91狠婷| 亚洲天堂情色| 日本ZZ高免费A级视频| 五月丁香黄色网| 日本高清有码网址视频| 美女露胸露屁股| 丝袜高跟澳门91视频| 蜜臀久久99精品久久久久久无删减 | 午夜综合在线| 久久久久久久性爱| 亚洲乱色熟女一区| 999岛国大片| 91中文精品日韩欧美在线| 粉嫩久久久极品| 3PAV乱伦视频| 中文字幕精品区先锋资源| 免费看美国人人爽,人人操| 亚洲日本天堂| 婷婷丁香激情| 黄色小视频日本txt| 日本青青草在线| 国模久久在线| 久久久久久久97| 亚洲国产精品无码AV在线| 久久超碰爱| 少妇内射视频| 熟女激情综合网| www.色99| 天天日天天舔东京热| 亚洲AV色图| 熟女五十路一区二区三| 蜜臀久久99精品久久久久久久久| 色阁阁AV综合网| 国产白丝精品在线观看| 91free福利| 精品97久久综合| 国产麻豆91欧美一区二区久久婷婷国产精品| 精品久久无码午夜福利| 日本色色色| 亚洲男人的天堂AV| 熟女精品日韩一区二区三区| 欧美一级特黄淫片在线观看| 男女打扑克高清网站| 男女香蕉一区二区| 一级毛片久久久久久久女人18| 日韩AV电影网站| 精品人妻视频一区二区在线播放| 翔田千里AⅤHD无码| 男人天堂久久精品| 日本免费二区三区| 天天日天天搞天天干| 国产精品久久久亚洲一区| 大香蕉性欧美| 国产成人一级av88| 麻豆婷婷成人一二三| 97超碰大| 欧美日产国产在线成人第一区| 97五月天| 蜜臀th| 啪啪啪精品| www.99热| 精品妇操一区二区三区| 蜜乳av一区二区| 婷婷三区| 992视频一区| 亚洲精品xxx| 操美女人妻| 男女无套 免费网站| www.激情| 精品一区二区久久| 亚洲性爱免费电影| 五月天伊人| 91四海无码日韩欧美| 国产福利av精彩对白| 97频视在线| 亚洲人妻在线一区| 最新亚洲风情电影| 亚洲AV无码秘 蜜桃臀国精产品| 日本一区三级韩国| 欧美综合色图网| 国产成人精品日本视频| 美女91色黄18| 免费精品人妻一区二区三| 99xav| 91精品人| 亚洲色五月| 亚洲欧洲日韩中文字幕一区| 欧美久久伊人| 蜜桃臀一区二区三区久久| 天天综合网日韩7799| 日本天天人人狠狠在线日美女 | 操逼日韩无码| 中文字幕诱惑制服人妻丝袜美丝袜美| 国产欧美精选自拍一区| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 久久9精品视频| 91精品国产91熟女| 色一情一乱一乱一区91Av| 婷婷10月天青娱乐| 国产一级αv免费看片| 亚洲情色一区二区三区| 免费一级性爱久久| 亚洲视频,小说| 懂色中文一区二区三区 | 99RE在线视频精品,这里只有精品| 放黄片放3级黄片没穿衣服| 久久精品人体| 在线日韩精品一区二区三区| 日本免费不卡二区| 精品一区二区三区国产 | 后入美女国产| 91狠狠综| 青青草在线成人视频| 97在线观看免费视频| 精品免费1| a片偷拍视频| 欧亚第一综合网| 日韩国产欧美伦理在线| 很很很很操| 国产伦乱91| 日本三级精品| 亚洲一区二区三区久久 亚洲一区二区| 国产精品国产精品国产| 一区=区三区视频| 激情天天视频| 欧美性暴力猛交XXXX| 久久五月天婷婷丁香中文字幕| 综合久久99亚洲人妻中文在线| 人人干人人操人人..com| 97超碰伊人| 欧美九9 9 9| 91精品人| 69精品人人人人| 国产操逼视频在线观看| 男人天堂免费| 任你爽视频| 九九热九九| 男人的天堂2018.| 中国操逼无码| 囯产精品强| 免费一级视频特黄色大片| 久草午夜| 密臀在线免费观看| 亚洲欧美综合区自拍另类| 久欲AV| 九九热超碰| 97 色综合| 亚洲少妇在线影音| 亚洲强奸乱伦影视网| 东京热男人天堂| 欧美高潮在线| 欧美黄片免费在线观看视频| 国内精品久9| 97超碰国产精品| 中文字幕日韩电影人妻| 日韩精彩视频| 视频二区美腿丝袜制服人妻欧美| 成人小说另类在线| 亚洲少妇激情一区二区三区| 成人资源中文字幕在线观看天天| 岛国免费视频在线| 四虎在线观看网站| 欧美国产日韩清纯唯美| av爱爱爱| 爱妻综合网| 狠狠狠狠狠狠| 免费av在线播放二区| 亚洲熟女乱综合一区二区在线-...亚洲国产日韩欧美一区二区三区,久久久久久精 | 奇米四色网| 色综合 加勒比| 26uuu欧美| 操逼片国产| 五月天人妻综合| 色女99一级片在线观看| 无码高清国产AV| 狠狠爱大香蕉| 禁十八久久| 九九黄色网| 婷婷久久五月综合激情| 欧亚韩国999| 91人人爽人人爽人人人,gav福利视频导航,日韩欧美亚洲国产字幕四区 | 国产兽交视频在线播放|