日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Atlas 300V 24G部署YOLOv5/YOLOv8全流程實(shí)戰(zhàn)指南

Atlas 300V 24G部署YOLOv5/YOLOv8全流程實(shí)戰(zhàn)指南 做AI推理這幾年我手里經(jīng)手過不少加速卡GPU、NPU、FPGA都折騰過。前陣子因?yàn)轫椖啃枨笳J(rèn)真地把華為昇騰的Atlas 300V 24G摸了一遍還順手把YOLOv5/YOLOv8的模型完整部署了上去。之所以想寫這篇東西是因?yàn)槲野l(fā)現(xiàn)在社區(qū)里“atlas部署yolo”和“atlas 300v 24g 是運(yùn)算加速卡嗎”這類問題的搜索量特別高但真正把從硬件認(rèn)識、驅(qū)動環(huán)境、模型轉(zhuǎn)換到推理調(diào)優(yōu)整條鏈路講清楚的文章少之又少很多人卡在第一步就不動了。這篇文章我不想講太多PPT上的理論就從一個實(shí)際跑過項目的人角度把我踩過的坑、驗(yàn)證過的命令、試出來有效的配置全部攤開講給想做昇騰推理的同學(xué)一條能直接照著走的路。1. Atlas 300V 24G到底是個什么“加速卡”1.1 先回答熱搜它確實(shí)是運(yùn)算加速卡但和你想的可能不一樣先直接回答那個被問爛了的問題Atlas 300V 24G是運(yùn)算加速卡嗎答案是肯定的它是一張專門為AI推理設(shè)計的加速卡。但它和你印象里的“顯卡”完全是兩回事——它沒有顯示輸出接口你沒法給它接個顯示器打游戲它誕生出來的唯一目的就是把神經(jīng)網(wǎng)絡(luò)模型的計算跑得飛快。這顆卡的核心是昇騰310P系列處理器具體型號在部分文檔里也叫310P324G指的是板載內(nèi)存容量這個內(nèi)存不是用來存畫面的而是用來存放模型權(quán)重、中間特征圖和推理數(shù)據(jù)的。換算成大家熟悉的GPU語言它更像是“專門跑AI作業(yè)的協(xié)處理器”。在模型推理場景下它單卡能提供的INT8算力在百級TOPS左右具體數(shù)值跟頻率和功耗模式有關(guān)功耗卻控制得很低我記得標(biāo)稱大概在72W附近比動輒三四百瓦的GPU溫和太多。很多朋友第一次拿到這卡會犯迷糊因?yàn)樗L得太像一張顯卡了又帶散熱片又帶擋板。我在這里給你提個醒千萬別拿它當(dāng)顯卡用也別指望它能幫你做CUDA加速它的軟件棧是華為自己的一套CANN生態(tài)和CUDA不通用。想在上面跑東西所有的模型轉(zhuǎn)換、算子適配、推理調(diào)用都要圍繞昇騰的工具鏈來。1.2 它憑什么能跑YOLO硬件規(guī)格與算力定位部署YOLO這類目標(biāo)檢測模型本質(zhì)上就是把訓(xùn)練好的權(quán)重文件轉(zhuǎn)換成能在NPU上運(yùn)行的離線模型OM格式然后通過昇騰的推理接口調(diào)用硬件完成前向計算。Atlas 300V 24G在這個過程中的定位非常清晰它是一款高能效比的推理卡專攻“已經(jīng)訓(xùn)練好的模型”的加速而不是用來訓(xùn)練的。拿YOLOv5s舉例這個模型在GPU上用FP16跑一張圖大概也就幾毫秒到十幾毫秒在Atlas 300V上如果配置得當(dāng)單張圖的推理時間同樣可以做到個位數(shù)毫秒級別。你可能覺得這不就是“能跑”嘛沒什么稀奇。但真正讓它有價值的是批量處理能力和功耗比在視頻流分析場景里一路視頻按25幀算每秒需要處理25張圖一張卡同時處理8路、16路視頻流時它能穩(wěn)定壓住幀率而且整卡功耗遠(yuǎn)低于同規(guī)格GPU。這個優(yōu)勢在機(jī)房部署和邊緣服務(wù)器里非常值錢。另外要澄清一個概念A(yù)tlas 300V 24G這個“24G”并不是越大越好它主要用來容納更大的模型和更大的batch。比如你想一次推理塞進(jìn)去8張甚至16張圖或者跑YOLOv8x這種大模型內(nèi)存需求就會明顯上漲。實(shí)際項目中我建議先確認(rèn)模型大小和batch策略再決定要不要上24G版本。如果只是跑個YOLOv5s單batch推理其實(shí)8G甚至更小內(nèi)存的型號也能勝任沒必要為了“大內(nèi)存”多花錢。但如果你要做多路視頻流并發(fā)推理24G的余量會讓人從容很多。2. 部署YOLO前的準(zhǔn)備工作把環(huán)境一次配到位2.1 硬件安裝與驅(qū)動檢查拿到卡后第一件事Atlas 300V是一張PCIe插槽的卡安裝過程和裝顯卡基本一樣。但有幾個細(xì)節(jié)我提醒一下第一供電一定要接好。部分型號的300V除了PCIe插槽供電外還需要外接一個8pin或者6pin的輔助供電口。有些同學(xué)裝機(jī)時圖省事不接外電結(jié)果上電后系統(tǒng)死活識別不到卡查了半天發(fā)現(xiàn)是供電沒插。這問題我見過不止一次強(qiáng)烈建議你裝卡之前先看清楚卡上的供電接口類型。第二驅(qū)動和固件版本要匹配。從官網(wǎng)下載對應(yīng)型號的CANN工具包時里面通常會包含NPU驅(qū)動和固件。我踩過的坑是先裝了舊版驅(qū)動再裝新版CANN結(jié)果在推理初始化時報設(shè)備不支持的錯。后來老老實(shí)實(shí)按官方要求把固件、驅(qū)動、CANN三者版本對齊才解決。裝完驅(qū)動后可以用npu-smi info命令查看卡的狀態(tài)這個命令和NVIDIA的nvidia-smi很像能看到卡的溫度、內(nèi)存占用、算力利用率等關(guān)鍵信息。npu-smi info正常狀態(tài)下你能看到類似這樣的輸出里面有具體的芯片型號“Ascend 310P”和內(nèi)存大小如果這里顯示不出來說明驅(qū)動或硬件連接有問題先別急著往下走把環(huán)境整干凈再說。2.2 軟件棧選型CANN、MindSpore Lite還是自定義算子路徑Atlas卡上的軟件棧不像CUDA那樣只有一條路它其實(shí)給了你幾種選擇。我用過之后給你梳理一下CANN AscendCL這是最底層、最可控的方案。AscendCLACL是C語言/Python的推理接口類似CUDA的Runtime API。你直接調(diào)用aclrt_malloc、aclmdlExecute這類接口自己管理內(nèi)存、排隊、同步。優(yōu)點(diǎn)是靈活性最高性能潛力最大缺點(diǎn)是你得像寫CUDA一樣注意資源的管理。這是我最推薦的方式后面我也會重點(diǎn)講這條路徑。MindSpore Lite如果你訓(xùn)練模型用的是MindSpore框架轉(zhuǎn)換和部署會比較順滑。但如果你手里是PyTorch的權(quán)重反而多一層轉(zhuǎn)換步驟沒太大優(yōu)勢。第三方推理框架比如通過OpenCV的DNN模塊配合CANN后端或者用ONNX Runtime的昇騰EPExecution Provider。這種方式上手最快幾行代碼就能跑起來但對算子的控制力弱性能上限也有限。我建議生產(chǎn)環(huán)境還是走AscendCL。我在實(shí)際項目中選了CANN AscendCL原因很簡單部署YOLO這種模型后處理里NMS非極大值抑制和輸出解析占的時間不少如果全丟給框架的黑盒處理出了問題很難定位。自己用ACL把推理主鏈路管起來后處理在CPU上自己寫出了性能問題我能明確知道瓶頸在NPU還是在后處理排查起來清晰很多。提示第一次接觸昇騰的同學(xué)我建議先把CANN開發(fā)套件里的sample跑通一個比如官方自帶的resnet50推理樣例。先不管你的YOLO模型這一步是為了驗(yàn)證驅(qū)動、固件、CANN三方環(huán)境是好的。樣例能跑通再往上加復(fù)雜度。3. 模型遷移鏈路從PyTorch權(quán)重到OM離線模型3.1 導(dǎo)出ONNX的三個關(guān)鍵點(diǎn)在Atlas上跑YOLO最繞不開的一步就是模型轉(zhuǎn)換。昇騰的NPU不認(rèn)PyTorch的權(quán)重文件它只認(rèn)OM格式的離線模型。所以整個遷移鏈路通常是PyTorch權(quán)重 → ONNX → OM。這個過程中ONNX導(dǎo)出是第一個大坑。我基于YOLOv5和YOLOv8的實(shí)際經(jīng)驗(yàn)給你總結(jié)三個關(guān)鍵點(diǎn)第一輸入尺寸一定要固定。導(dǎo)出ONNX時建議把輸入尺寸定死在模型推理時實(shí)際使用的尺寸比如640x640。雖然ONNX協(xié)議支持動態(tài)尺寸但昇騰的ATC轉(zhuǎn)換對動態(tài)shape支持有限動態(tài)尺寸不僅會拉低性能還容易在轉(zhuǎn)換時報錯。我在項目里直接固定成1x3x640x640省了無數(shù)麻煩。如果你確實(shí)需要多尺寸推理你可以轉(zhuǎn)換多個不同尺寸的OM模型運(yùn)行時根據(jù)輸入圖尺寸動態(tài)選擇。第二后處理算子不要一股腦塞進(jìn)模型里。YOLO的檢測頭輸出通常包括目標(biāo)框坐標(biāo)、置信度、類別概率后續(xù)還要經(jīng)過解碼和NMS。有些同學(xué)圖省事把NMS也寫進(jìn)模型網(wǎng)絡(luò)里想著NPU能一并處理。但昇騰對NMS這類動態(tài)算子的支持很有限強(qiáng)行塞進(jìn)去輕則性能變差重則轉(zhuǎn)換失敗。我建議只保留模型主干和檢測頭的原始輸出把解碼和NMS放到模型外部的CPU后處理里。第三用torch.onnx.export時注意算子版本。我遇到過導(dǎo)出的ONNX里某些算子版本過新ATC不認(rèn)的情況。通常是設(shè)置opset_version11或12就夠用了沒必要追求最新版。另外導(dǎo)出后最好用onnxsim等工具對圖做一次簡化去掉一些冗余的Transpose、ReshapeATC轉(zhuǎn)換時成功率會明顯提高。下面是我導(dǎo)出YOLOv5 ONNX時常用的一段代碼關(guān)鍵部分import torch from models.experimental import attempt_load model attempt_load(yolov5s.pt, map_locationcpu) model.eval() dummy_input torch.randn(1, 3, 640, 640) torch.onnx.export( model, dummy_input, yolov5s.onnx, opset_version11, input_names[images], output_names[output], dynamic_axesNone ) print(export done)導(dǎo)出后我會立刻用onnxruntime跑一遍確認(rèn)輸出結(jié)果和PyTorch原始推理一致再進(jìn)入ATC轉(zhuǎn)換。這一步能提前暴露很多算子兼容性問題。3.2 ATC轉(zhuǎn)換實(shí)戰(zhàn)命令、AIPP配置與常見報錯拿到ONNX模型后下一步就是用ATC工具把它轉(zhuǎn)成OM。ATC工具在CANN安裝目錄下的/usr/local/Ascend/ascend-toolkit/latest/bin/atc第一次用要先確認(rèn)它在你系統(tǒng)的PATH里。我最常用的轉(zhuǎn)換命令長這樣atc --modelyolov5s.onnx \ --framework5 \ --outputyolov5s_bs1 \ --input_shapeimages:1,3,640,640 \ --soc_versionAscend310P3 \ --insert_op_confaipp.cfg \ --output_typeFP32這里幾個參數(shù)我逐個解釋--framework5表示輸入是ONNX格式這是ATC的固定寫法。--output是輸出OM文件的前綴名。--input_shape需要和你導(dǎo)出ONNX時完全一致不然會報維度不匹配。--soc_version要注意Atlas 300V對應(yīng)的是Ascend310P3別和Atlas 300I的Ascend310P1弄混了選錯會直接報錯。--insert_op_conf是AIPP配置文件這個非常關(guān)鍵我單獨(dú)說一下。AIPPAI Preprocessing是昇騰在硬件上做預(yù)處理的功能可以把圖像縮放、減均值、除方差、色域轉(zhuǎn)換這些操作從CPU挪到NPU上完成。很多人在轉(zhuǎn)換時忽略這一步把預(yù)處理全部留在CPU上用OpenCV做結(jié)果推理速度被CPU預(yù)處理拖慢不少。我建議把所有能下沉的預(yù)處理都配置進(jìn)AIPP。下面是一個YOLOv5彩色圖輸入的典型AIPP配置aipp_op { aipp_mode: static input_format: RGB888_U8 src_image_size_w: 640 src_image_size_h: 640 crop: false mean_chn_0: 0 mean_chn_1: 0 mean_chn_2: 0 var_reci_chn_0: 0.003921569 var_reci_chn_1: 0.003921569 var_reci_chn_2: 0.003921569 }這里input_format: RGB888_U8告訴AIPP輸入是RGB三通道8位圖模型訓(xùn)練時的預(yù)處理是標(biāo)準(zhǔn)化到0~1所以mean全為0var_reci是1/255約等于0.00392。如果你訓(xùn)練時用的是歸一化均值±標(biāo)準(zhǔn)差還需要按實(shí)際值配置。AIPP這個設(shè)計我覺得比GPU上手動寫預(yù)處理要優(yōu)雅不少一旦配好推理時輸入就可以直接丟原始圖像數(shù)據(jù)進(jìn)去NPU自己完成resize和歸一化。轉(zhuǎn)換成功后你會在輸出目錄里看到y(tǒng)olov5s_bs1.om文件??梢杂胦mg自帶的工具查看模型信息或者直接進(jìn)入下一步用一個小測試腳本來驗(yàn)證OM能不能正確推理。常見報錯我先列幾個E10001: Input shape is inconsistent輸入shape沒對齊檢查ATC參數(shù)里的--input_shape。E10002: Unsupported op type xxx模型里有ATC不支持的算子。這時優(yōu)先考慮回源頭修改模型把特殊算子替換成通用算子。E19999: Inner Error這種比較頭疼通常是CANN版本和模型算子兼容性問題可以先查CANN的版本日志再考慮升級或降級CANN版本。4. 基于AscendCL的推理部署寫一個能跑的YOLO推理程序4.1 初始化與資源管理模型轉(zhuǎn)換好了接下來就是寫推理程序。這里我走的是CANN AscendCL路徑Python版本用起來也很方便C語言適合性能極致要求的場景我開發(fā)時先用Python快速驗(yàn)證線上再優(yōu)化C。這里我介紹Python版本的流程因?yàn)槟闩芡ㄟ壿嫼笤俑某蒀只是API層面的替換。推理程序的第一步是初始化ACL環(huán)境import acl # 初始化 ret acl.init() assert ret 0 # 設(shè)置推理設(shè)備 ret acl.rt.set_device(0) assert ret 0 # 創(chuàng)建上下文 context, ret acl.rt.create_context(0) assert ret 0這里有幾個容易犯的錯誤第一每個進(jìn)程必須且只能調(diào)用一次acl.init()多次調(diào)用會報重復(fù)初始化的錯。第二acl.rt.set_device(0)里的0是設(shè)備ID如果你機(jī)器上插了多張Atlas卡要先確認(rèn)你的模型在哪張卡上跑。可以用npu-smi info查看卡的編號。第三上下文Context一定要創(chuàng)建并且后續(xù)所有推理調(diào)用都必須在同一個上下文中執(zhí)行。這就像CUDA里的context一樣搞錯了會莫名其妙地報空指針錯誤。初始化完成后加載OM模型model_path byolov5s_bs1.om # 加載模型 model_id, ret acl.mdl.load_from_file(model_path) assert ret 0 # 獲取模型描述 model_desc acl.mdl.create_desc() ret acl.mdl.get_desc(model_desc, model_id)模型加載成功后你就拿到了model_id后續(xù)所有推理執(zhí)行都靠它。同時我強(qiáng)烈建議你調(diào)用acl.mdl.get_desc獲取模型的輸入輸出信息它會告訴你模型期望的輸入大小、輸出Tensor數(shù)量、每個Tensor的shape和數(shù)據(jù)類型。這些信息在后處理階段非常重要。4.2 推理主流程拆解YOLO推理的完整流程是讀圖 → 預(yù)處理 → 拷貝到設(shè)備內(nèi)存 → 推理 → 從設(shè)備內(nèi)存取回輸出 → 后處理。在ACL環(huán)境下每一步都有對應(yīng)的API。讀圖和預(yù)處理我用OpenCV完成但注意因?yàn)锳IPP已經(jīng)把resize和歸一化下沉到NPU了所以CPU端只需要把圖像數(shù)據(jù)轉(zhuǎn)成RGB排列并resize到640x640不需要再做歸一化。然后申請設(shè)備內(nèi)存并拷貝數(shù)據(jù)# 假設(shè)image是resize后的RGB圖像連續(xù)內(nèi)存 image_bytes image.tobytes() # 申請設(shè)備內(nèi)存 device_data, ret acl.rt.malloc(640 * 640 * 3, 2) # 2是內(nèi)存對齊 # 從主機(jī)內(nèi)存拷貝到設(shè)備內(nèi)存 ret acl.rt.memcpy(device_data, 640 * 640 * 3, image_bytes, 640 * 640 * 3, acl.aclrt_memcpy_kind.aclrt_memcpy_kind_host_to_device)注意acl.rt.malloc的第二個參數(shù)是內(nèi)存對齊大小通常傳2即64字節(jié)對齊也可以傳32具體看官方要求。拷貝方式一定要是host_to_device方向反了你會在推理時得到一堆亂碼。執(zhí)行推理這一步很關(guān)鍵ACL支持同步和異步兩種方式。同步接口acl.mdl.execute簡單粗暴調(diào)用完就阻塞直到推理結(jié)束。異步接口acl.mdl.execute_async需要配合stream使用適合高吞吐場景。我開發(fā)階段先用同步接口驗(yàn)證正確性性能調(diào)優(yōu)時才切異步。# 同步推理 ret acl.mdl.execute(model_id, [device_data], # 輸入設(shè)備內(nèi)存指針列表 [output_size], # 輸出大小列表 [output_data], # 輸出設(shè)備內(nèi)存指針列表 [output_size]) # 輸出大小列表執(zhí)行完成后把輸出數(shù)據(jù)拷貝回主機(jī)內(nèi)存output_data_host, ret acl.rt.malloc_host(output_size) ret acl.rt.memcpy(output_data_host, output_size, output_data, output_size, acl.aclrt_memcpy_kind.aclrt_memcpy_kind_device_to_host)這里要提醒一個我踩過的坑輸出Tensor在設(shè)備內(nèi)存里是連續(xù)排列的但不是所有模型輸出順序都跟你想的一樣。一定要用前面get_desc拿到的輸出shape信息去解析數(shù)據(jù)別想當(dāng)然地認(rèn)為第一個輸出就是坐標(biāo)。我遇到過YOLOv8轉(zhuǎn)出來的ONNX輸出順序和YOLOv5不一樣結(jié)果解析錯亂畫出來的框五花八門。4.3 輸出解析與后處理輸出數(shù)據(jù)拷回主機(jī)內(nèi)存后就進(jìn)入CPU后處理階段。YOLOv5的原始輸出是[batch, 25200, 85]的Tensor其中25200是三個尺度80x80、40x40、20x20的anchor總數(shù)85是[cx, cy, w, h, obj_conf, class1_conf, class2_conf, ...]。而YOLOv8的輸出結(jié)構(gòu)稍有不同它用的是解耦頭shape通常是[batch, 84, 8400]你需要先做一次轉(zhuǎn)置才能按檢測框的方式解析。后處理的任務(wù)包括解碼把模型的原始輸出轉(zhuǎn)成檢測框坐標(biāo)和置信度。置信度過濾低于閾值的框直接丟棄。NMS對重疊的框做非極大值抑制。坐標(biāo)映射把640x640坐標(biāo)系映射回原始圖像的坐標(biāo)系。這部分我用純Python實(shí)現(xiàn)雖然效率比不上C但邏輯清晰方便調(diào)參。等確認(rèn)模型輸出正確、NMS閾值合理后再把這部分代碼改成C或者用numpy向量化加速。注意NMS的閾值conf_thres和iou_thres直接影響檢測效果。我經(jīng)驗(yàn)上建議置信度閾值設(shè)在0.25左右IOU閾值設(shè)在0.45左右這是YOLOv5倉庫的默認(rèn)配置在實(shí)際場景里平衡得比較好。如果誤檢多就調(diào)高置信度閾值如果漏檢多就調(diào)低。5. 性能調(diào)優(yōu)與踩坑實(shí)錄5.1 三個直接影響吞吐量的配置模型在Atlas上跑通只是第一步真正讓性能飛起來還得靠調(diào)優(yōu)。我實(shí)際調(diào)優(yōu)后發(fā)現(xiàn)下面這三個配置對吞吐量的影響最大第一Batch Size。ATC轉(zhuǎn)換時可以把--input_shape設(shè)成images:8,3,640,640一次推理同時處理8張圖。Batch越大NPU的利用率越高8路視頻并發(fā)推理時Batch8通常是性價比最高的選擇。但要注意Batch太大內(nèi)存會爆24G內(nèi)存在Batch16時建議先估算模型大小再決定。第二Stream與異步推理。acl.mdl.execute_async配合多Stream可以把“數(shù)據(jù)拷貝”和“NPU計算”重疊起來。我的經(jīng)驗(yàn)是先開2~4個Stream每個Stream內(nèi)循環(huán)推理即在一個Stream里前一個batch還在NPU上算GPU已經(jīng)可以拷貝下一個batch的數(shù)據(jù)了。這個流水線設(shè)計能讓卡一直處在“忙”的狀態(tài)而不是等數(shù)據(jù)拷完了才開始計算。第三AIPP盡量承接預(yù)處理。我在前面反復(fù)強(qiáng)調(diào)AIPP是因?yàn)閷?shí)測下來它的收益非常明顯。YOLO推理一張圖CPU預(yù)處理耗時約2~3毫秒而AIPP把resize和歸一化下沉到NPU后這部分時間幾乎可以忽略。如果你的部署場景是實(shí)時視頻流AIPP是必須打開的功能不然你的CPU會先被預(yù)處理拖垮。第四補(bǔ)充輸出內(nèi)存復(fù)用。不要頻繁申請釋放設(shè)備內(nèi)存。我的做法是在程序啟動時一次性申請好輸入輸出設(shè)備內(nèi)存整個生命周期里反復(fù)復(fù)用。內(nèi)存分配釋放是很貴的操作尤其在4K視頻流場景下申請釋放頻率一高性能立刻掉下去。5.2 常見報錯和排查思路我在部署過程中遇到不少問題挑幾個有代表性的整理成表格給后來的人一個排查方向現(xiàn)象可能原因排查與解決辦法acl.init返回非0驅(qū)動未安裝或CANN環(huán)境變量未配置檢查npu-smi info確認(rèn)/usr/local/Ascend路徑在當(dāng)前環(huán)境變量中acl.mdl.load_from_file報文件不存在OM模型路徑錯誤或模型未轉(zhuǎn)換成功確認(rèn)OM路徑用ls檢查文件重新跑ATC轉(zhuǎn)換推理結(jié)果全零或全錯輸入數(shù)據(jù)方向拷貝錯誤預(yù)處理與AIPP不一致檢查memcpy方向核對AIPP的input_format是否與輸入圖像一致推理時報內(nèi)存不足設(shè)備內(nèi)存申請過大batch過大減小batch用acl.rt.mem_info查看設(shè)備剩余內(nèi)存異步推理結(jié)果不刷新未調(diào)用acl.rt.synchronize_stream在execute_async后調(diào)用acl.rt.synchronize_stream(stream)同步ATC轉(zhuǎn)換報Unsupported opONNX中的算子超出支持范圍回源頭修改模型優(yōu)化ONNX圖適當(dāng)升級CANN版本memcpy數(shù)據(jù)錯位輸出shape判斷錯誤用acl.mdl.get_desc打印所有輸入輸出信息對比實(shí)際數(shù)據(jù)維度另外排查問題是還有一個經(jīng)驗(yàn)想分享CANN的日志系統(tǒng)默認(rèn)是關(guān)閉的但出問題時你真的需要它。在運(yùn)行推理程序前可以先設(shè)置環(huán)境變量ASCEND_GLOBAL_LOG_LEVEL1開啟info級日志ASCEND_SLOG_PRINT_TO_STDOUT1把日志打到終端。這樣能很直觀地看到ACL初始化、模型加載、每層推理的耗時和可能的報錯比瞎猜高效得多。調(diào)完后再把日志級別設(shè)回去因?yàn)槿罩颈旧硪矔下评硭俣取_€有一個小技巧用npu-smi info監(jiān)控卡的溫度和利用率。如果利用率一直上不去而CPU占用很高大概率是預(yù)處理或后處理在拖后腿如果利用率很高但吞吐量上不去可能是batch太小或者stream數(shù)量不夠。性能調(diào)優(yōu)本質(zhì)上就是在找系統(tǒng)的“瓶頸點(diǎn)”找到瓶頸再針對性優(yōu)化。最后的最后我再分享一點(diǎn)個人體會在Atlas上部署YOLO最容易被低估的其實(shí)是模型轉(zhuǎn)換這一步。很多人覺得PyTorch模型能跑就萬事大吉結(jié)果卡在ATC轉(zhuǎn)換報錯上反反復(fù)復(fù)修改模型結(jié)構(gòu)、算子版本反而花掉整個項目一半的時間。我的建議是轉(zhuǎn)換之前先小規(guī)模驗(yàn)證ONNX的算子兼容性把能簡化的結(jié)構(gòu)在導(dǎo)出階段就簡化掉不要在轉(zhuǎn)換報錯后再回頭改模型那樣效率太低了。Atlas這套工具鏈確實(shí)有它的學(xué)習(xí)門檻但一旦把環(huán)境配順、把鏈路跑通它的穩(wěn)定性、功耗和成本優(yōu)勢會非常突出。希望這篇文章能讓你少走一些彎路。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
欧美制服另类丝袜| 亚洲激情深爱文学小说网站| 亚洲美女av无码| 国产乱码精品一区二区三区四川| 夜夜操天天肏| 久久精品无码一区二区三区| 97超碰人人模人人拍人人| 综合国产影视三级| 一色网男人的天堂| 四虎免费在线播放| 婷婷91| 91N综合在线| 爽爽歪在线视频| 韩国轻伦国内自拍一区| 欧美在线第五页| 男人午夜天堂| 超碰91在线| 色眯眯av| 超碰成人公开| 亚洲综合在线高清| 国产精品免费久久久久久久久久| 国产精品麻豆成人AV艾秋| 欧美性Fer办公室秘书| 蜜乳视频网站| 午夜精品久久久久| 日韩操p| 97这里都是精品| 国产一级内射高清视频| 国产精品对白内射| 国产999精品久久久久久| 懂色AV中文| 香伊人在线| 88在线一区二区三区| 国产精品高潮呻吟av久久4虎| 美女被艹尤物视频| 无卡一区=区| 国产高清免费不卡av| 欧美 亚洲 另类 综合| 91美女小视频| 中文字幕片| 美女好片色日本| 在线不卡视频| 欧美宗合色| 狠狠狠一区二区三区| 亚洲有码视频二区| 久久秀这里有精品| 精品午夜福利| 97精品国产97久久久久久| 啊啊在线| 国产 日韩 欧美 人妻 熟女 中文 69人妻精品一区二区绯色 | 日韩欧美性爱电影在线观看| 97久久久精品| 亚洲AV无码黄色强奸| 亚州欧美综合| 久久综合激情| 精品人妻视频入口| 97超碰总站| 91free福利| 色欲久久99国产精品久久久久久| 五月婷婷色色| 免费久久一级毛片大黄| 日韩 欧美 国产 麻豆| 久久午夜鲁丝片| 啊啊啊久久久视频| 亚洲AV无码成人精品久久| 欧美性91| 亚洲熟女一区| 天天日夜夜| 97se亚洲综合自| 丝袜喷水在线| 久热伊人| 国产9区| 亚州成人a∨| 国产欧美成人第一页在线观看| 任你干在线视频| 色综合av男人天堂| 麻豆熟妇乱妇熟色A片在线看| 色情五月婷婷| 18禁精品网站在线看| 无码久| 国产91啪| 日韩性爱长视频免费| 磁力99AV| 婷婷色导航| 国产精品高清2021在线| 亚洲高潮影院| 中出789在线视频| 欧亚免费视频| 91久久免费视频互動交流| 白丝少妇一区二区| 亚洲日韩精品在线播放| 伊人激情五月天一区二区| 亚洲成人帖图| 超碰免费欧美7| 天天色综合图片| 视频黄色国产一级| 蜜乳成人AV| 欧美日韩精品久久久久东北老熟妇| 亚洲性爱高潮影院| 欧美十八禁网站| 综合久久少妇中文字幕| 欧美+日产+中文| 青青草自拍视频在线播放| 高清成年美女黄网站免费大全| 97干在线视频| 日韩AV噜噜噜一区二区三区四区 | 中文字幕AV中出| 97色色色综合网站| 91国产精品在线看| 激情五月天综合网| 久久综合资源一区二区| 久久精品久久久久久久| 久久网亚洲| 久久啊哟| 口爆欧美91| 九九热精品| 色呦呦呦在线观看视频| 国产精品人人爽人人做可爱福利| 国产深喉视频一区二区| 欧美写真视频一区| 欧美日韩亚洲少妇寂寞影院正在播放 | 欧美精品日韩久久久九| 亚洲色图欧美激情| 亚洲小说视频| 中国和日本人色哪个不下载能放| julia ann久久| 一牛一区二区三区久久| AV丝袜少妇| 综合啪啪| 男女做爰猛烈动高潮A片免费应用 少妇厨房愉情理伦片bd在线观看 不卡中文字幕aⅴ在线 | A级片日韩欧美国产欧美视频精选观看| 高清无码91| 激情99| 丝袜美腿诱惑亚洲欧美视频在线观看 | 国产白丝在线| 欧美日韩人妻婷婷一区| 在线观看AV不卡| 99热这里只有精品9| 一级片在线观看高清无码| 午夜男女爽爽大片免费观看| 91亚洲色人| AV麻豆免费一区| 91精品无码久久久久久久| 懂色aV一区二区天美传媒| 水多多映视AV| 极品销魂美女一区二区| 男女激烈网站最新| 中文一区在线视频| 日亚韩精品视频二区三| 婷婷丁香熟妇综合网| 婷婷午夜| 在线天堂999| AV综合中文字幕干| 99国产精品人妻人伦| www超碰| www.婷婷六月天| 95人妻爽爽人人做人人澡| 人妻少妇一区二区| 欧美少妇色综合| 丰满翘臀美女影院视频| 精品乱码久久久久| 骚逼自拍99| 熟妇色99| 女人与公拘交酡2020视频| 国产一区免费午夜视频| 91人妻少妇| 精品78| 国产精品嫩草影院午夜两性| 婷婷激情五月天小说网| 色色激情五月天| 成人五月香网在线| 天堂射| 日本一级不卡一二区| 亚洲狠狠入| 亚洲国产97| 内射夫妻三片| 制服乱伦| 97天天弄| 久久99国产精品| 欧亚无码视频| 国产精品视频一区二区三区八戒| 俺去也婷婷| 91扒丝袜综合在线| 美女久久久久久久| yazhouzaixian| 色网亚洲人| 9Ⅰ超碰| 色呦呦国产精品免费看| 亚洲精品aa久久伊人| 宅男91视频在线播放| 99精品人人爽| 国产第12页| 久久精品国产免费观看99| 中文字幕在线播放2中文字幕在线观看2| 韩国轻伦国内自拍一区| 99热日| 日韩无码第3页| 超碰色97| 国产精品一区二区校花| 久久久一热在线播放| 欧美综合 站| 中欧人妻丝袜中文字幕| 太久视频| 国产熟女一区二区丰满| 久久久涩| 自拍偷拍2025在线观看| 97看操| 不卡视频一区蜜桃视频 | 日韩黄色片子| 久久久久久亚洲精品不卡人乳| 免费无码婬片AAAA片直播色戒| 免费中文在线| 五月激情小说| 欧美综色欧| 午夜a成v人电影| 国产精品呦一区二区三区| 欧美日本一区二区a人| 国产久久久9999| 色色色色电影网| 夜夜爽77777| 中文精品少妇天堂| 高清无码 国产精品| 午夜性| 欧美97超碰| 亚洲欧洲精品视频发布| 成人熟女区| 亚洲日韩电影| 91粉芽高清在线一区二区| 大香蕉手机在线| 精品欧美А∨无码黑人大荫蒂 | 国产人妻久久精品一区二区三区| av绯色| 激情文学 国产一二三aV| 青青草公开在线免费不卡视频| 日韩黄片视频试看| 欧美伦乱爱| 国产精品久久天天干| 人人人人插| 成人在线午夜视频一区| 制度丝袜99| 清清草影| 婷婷五月天无码| 乱伦日本中文自拍| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 国产sv美女内射| 日韩欧美俄罗斯A片| 国厂麻豆77q4| 亚洲高清自拍| 在线观看一卡二卡| 久久综合97| 懂色AV蜜臀无码精品APP| 久久久久密臀视频| 一区二区三区精品视频| 大香蕉视频啪啪啪啪| 综合色色婷婷| 欧美色图20p| 综合网,亚洲,欧美| 日本十八禁免费看污网站| 久久国99999| 欧美操人视频| 欧美影音在线| 国产99精品一区二区三区免费| 看免费的黄片| 小少妇| 91亚洲人| 一区 欧美 日韩 麻豆| 26uuu偷拍亚洲欧洲综合| 亚州中文字幕超碰97| 97bbn| 五月综合婷婷久久网站| 91青青| 中文字幕二区日韩天堂| 亚洲精品性爱片| 五毛骚逼极品美女怕怕| 狼人久草| 97在线视频观看| 九九九九日本 | 激情婷婷丁香网| 久久色情| 亚洲一区二区三区春色| 国产一区二区三区久久精品太古里| 久操网址| 小电影欧美91| 在线人妻熟女一区二区三区四区五区| 国产欧美精选激情视频| 蜜桃臀久久| 日韩av乱伦| 国产精品女aA片爽爽视频| 日本不卡二三区| 亚洲精品亚洲人成在线麻豆| 九九亚洲色在线观看| www.acm成人黄色毛片| 老熟女熟妇| 色婷婷激一区二区三区| 亚洲双插| 欧美|91色综合| 69av一区二区三区| 97日韩欧美亚洲| 日韩乱码av| 婷婷五月天无码 | 国产精品爱欲| 97在线播放 | 久久黄色性爱视频| 另类老少妇| 久久久久久久少妇| 国产人妻天天干精品| 97视频在线播放| 97网址97| 91欧美经典| 小草精彩毛片| 欧美性爱免费短视频| 99色热| 国产成自自拍在线观看| 色婷五月天| 亚洲影院无码在线| 欧美在线亚洲| 天海翼久久| 福利风月五月天影院| 91痴汉| 久9久9精品| 精品少妇后入一区二区三区四区人妻巨乳 | 大香蕉AV在线| 色天使亚洲综合在线观看| 天天爱天天操| 青草伊人久久| 日韩97视频!在线| 一块操欧美| 国产亚洲精品久久久久小| AV在线资源| 亚洲色天堂日韩中| 97人人干| 欧美性爱在线无码| 亚洲精品aa久久伊人| 爱媛媛久久国产福利| 久久亚洲不卡一区二区三区| 久久六六| 国产suv精品一区二区四| 97爱欧美| 欧美草草高清日韩视频| 97视频在线观看网站| 欧美 综合| 欧美78p| 啊啊啊免费| 五月香婷婷| 色yeye成人免费视频| 亚洲、日韩、综合、另类| 97久久久久久久精| 超碰 国产熟女精品一区| 亚洲素人综合| 婷婷丁香五月激情啪啪| 亚洲无992tv| 人妻丰满熟妇av无码区蜜桃| 久草免费在线一区二区| 锕锕好爽 死我在线观看| 精品高清牛人盗摄一区二区三区中文字幕A片免费在线观看 | 久久五月份| 日韩激情电影中文字幕| 久久久久幕乱码| 骚人妻少妇视频| 青青草视频久久| 中文字幕奈奈美被公侵犯| 91激情综合| 91免费看一区二区三区 | 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 六月丁香久久| 色丁香久久| 亚洲激情网| Julia在线播放亚洲久久| 99久热| 精品久久久久久中文字幕视频免费| 99精品热| 97超碰人人模人人拍人人| 噜噜噜久久亚洲精品色情| 久久黄黄| 久久精品女同亚洲女同13| 97人人射| 狠狠操夜夜操蜜桃视频三区| 青青青国产| 国产高清不卡视频| 亚洲精品 超碰| 精品人妻一区二区乱码一区二区| 久久久久9| 日韩成人精品中文字幕| 操婷婷逼| 国产中文大片资源中文字幕| 中文字幕一二区二三区人妻专区| 久久XX| 色拍偷亚洲| 亚洲情色欧美| 六月婷婷综合| 日本啊啊啊啊啊视频| 精品久久久久久AV无码| 97天天摸天天碰| 大香蕉2017| 久久久96| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 欧美成人一级免费电影| 91国产大片| 日韩免费在线视频观看| 伊人综合色网| 亚洲无992tv| 亚洲午夜AV| 色97欧美| www.四虎在线| 91亚·色| 97日韩| 2020中文字幕在线观看| 老熟妇一区二区三区| 亚欧性爱ab| 97久久久精品| 亚洲.欧美.丝袜.中文.综合| 日日夜夜干| 久久久四区| 爱欲AV| 无码人妻丰满熟妇区毛片| 手机在线看片免费人成视频| 精品视频123区小说区| 欧美激情 亚洲色图| 久久精品性| 久热这里只有精品9| 激情第四色| 免费a v| 欧美另类色图片| yiqicaoav| 97久久精品国产| 思思热er精品视频| a片亚洲一本通视频| 精品人妻一区二区视频| 超碰综合色| 91 亚洲 欧美 日韩 国产 综合| 日韩丝袜高跟制服在线观看| 综合色图区| 九九热AV| 伊人991| 久久视频,这里只有精品 | 精品在线观看视频在线| 超碰4A| 国产综合久久久鬼色| 国产精品欧美日韩久久| 26uuu久久| 97伊人| 色情婷婷久久五月天| 久热色情精品| 人妻熟女av国产网站| 久久六六| 97超碰色色| 日日噜噜夜夜狠狠视频无| 亚洲国产精品久久久久婷婷老年| 96国产污污污丝袜| 天天爱综合网| 69天堂| 日韩av在线免费网站| 开心激情婷婷| 爱爱动态120秒| 成人aⅴ一区二区三区| 伊香蕉综合久久久久久久噜噜噜| 熟女网站最新| 九九热超碰97亚洲最新香蕉| 亚洲午夜免费狠狠干| 婷婷三区| 久久五月丁香| 久久9免费视频| 91AV天美在线视频| 加勒比久久av| 极品色综合| 天美传媒AV在线| av亚欧| 欧美不卡在线一区二区| 人妻中文字幕精品无码 | 亚洲欲| 国产污视频麻豆传媒一区二区| 四虎AV无码| 美性中文综合网| 久超碰这里只有精品| 九九九999久久久网站| 五月婷婷丁香六月| 黄aaaaaaaaaaaaaaaaaa色网站| 色婷婷九月天天综合| 黄页网站免费高清在线观看| 婷婷综合久久| 97亚洲综合电影| 国产精品高潮久久AV| 久久色一区| 啊啊啊啊在线播放| 国产成人精品一区| 精品三级在线专区| 在线视频日韩欧美国产| 国产精品青青草| 91香蕉国产尤物视频| 国产亚州高清国产拍精| 日韩偷拍色图| 欧美综合亚洲| 男女激烈网站最新| 夜夜操二区| wwe 天天干.com| 精产品久久| 国产高清在线观看欧美| 中文字幕av色| 一区二区无码视频| 密乳AV免费观看| 五月婷在线| 国产女人9999| 校园春色亚洲欧洲| 果冻传媒A片一二三区| 91激情国产| 国产精品无码久久久久2025| 国产av白丝| 国产精品亚洲无码| 国产精品久久久三级无码| 日日AV加勒比| 天天日天天干天天色| 91oumei| 天天综合网91入口| 欧美色狠| 干妹子| 久久综合久久综合人久久夜精品| 国产日韩中文字幕欧美| 欧美日韩另类在线播放| 国产有码一区| 九九九国产| 婷婷激情五月| 日本免费中文字幕在线| 97超色| 26uuu性物| 啊啊啊不要啊啊受不了了视频在线 | 激情欧美日韩女同久久| 亚洲风情在线观看| 五月丁香婷婷色| 啊啊啊骚| 国产久久久9999| 一区操逼| 国产中文字幕在线观看| 国产最新小视频在线播放下载| 欧美78| 日本超碰色精品| 国产精品黄色三级av| 97超碰精品成| 六月婷婷五月丁香| 91情色在线| 麻豆AV96熟妇人妻| 精品毛片久久久精品毛片| 日本五十路在线| 日韩精品永久在线观看| 综合第一页| 韩日精品四区| 高清成年美女黄网站免费大全 | 亚洲天堂区| 亚洲成a人v欧美综合天堂下载| 丰满人妻aA一区二区三区| 狠狠狠狠狠| 操老熟女AV| 1人人看人人摸人人操| 78久久| 国产黄a三级三级三级av在线看| 操淫穴亚洲五月丁香 | 激情开心五月天| 久操凹凸视频| 顶级丝袜熟女一区二区三区| 亚洲AV无线| 国产无马视频| 在线播放中文字幕| 中文操嬖片。| 国产精品欧美日韩久久| 男女性无套 免费九一| 国产精品高潮久久久无码| 在线视频 亚洲精品| 少妇一级无码精品| 国产精品久久久久无码A√| 91一区二匹| 四虎在线视频| 九色黄站| 97干色天堂| 黄色无码高清黄色无码网站| 操逼无毒无码免费视频| 97资源欧美| 啊嗯好大视频在线观看| 欧美97日韩| 啊灬啊灬啊灬好深灬快高潮了动漫-国产字幕国产在线观看-B049AV | 大香蕉线| 97超碰亚洲| 亚洲精品久久久久久久久豆丁网| 久久久国产av美女私房| 欧美A√综合网| 英伦大奶子熟妇吊带| 久久婷婷伊人| 婷婷性爱| 思思性爱| 久久露脸国产老熟女| 亚洲婷婷丁香在线| 欧美18老人禁| 欧美性爽xyxOOOO| 日本国产亚洲一区在线观看| 手机午夜电影神马久久| 人妻精品4K4K4K4K4| 中文字幕成人| A久久| 中文字幕一区二区三区蜜臀| 亚洲城人男人的天堂| 亚洲国产欧美日韩人妻日中文| 人妻熟女av国产网站| av最新免费中文字幕| 人妻少妇精品视频一区二区三区| 97色操| 91精品人妻偷情| 久久亚洲AV无码专区国产精品| 国语对白在线播放视频| www男人天堂| 亚洲视频精选| 能在线播放的国产三级| 三级三级三级a级全黄三| 婷婷色影院| av大香蕉网站| 精品中文日韩字幕视频| 麻豆av一区二区| 欧美黄色大片在线观看| 欧美十八禁网站| 91精品国产麻豆国产自产在| 九九亚洲视频| 好吊色一区| 家庭乱伦性爱av| 日本精品一区三区| 在线中文AV| 亚洲 欧美 日韩 国产一区二区| 国产91精品福利在线| 秋霞网—男女啪啪亚洲免费体验区| 日韩国产成人自拍视频| 国产suv精品一区二区四区999| 后入日本1234| 亚洲小电影免费涩涩成人在线高清 | 97亚洲综合影院| 亚洲精品aa久久伊人| 久久国产99精品72福利| 密臀国产在线| 日韩av在线精品观看| 欧美成人综合| 久热一区二区| 97天天爽| 91欧美亚洲| 视频二区美腿丝袜制服人妻欧美 | 久色网| 欧美日本视频一区| 中日韩熟女| 亚洲综合贴图91 | 日韩精品 欧美激情| 国产suv精品一区二六| 大香网站| 激情五月天社区| 日韩丝袜人妻AV| 亚洲黄色a级片| http://qxhbdz.com| 蜜臀久久99精品久久久久久酒店 | 91人人爽人人爽人人人,gav福利视频导航,日韩欧美亚洲国产字幕四区 | 午夜精品久久久久久久男人的天堂 | www.成人无码| 99久久精品无码一区二区| 亚洲无码一区成人免费午夜| 色亚洲欧美| 极品粉嫩一区二区| 天干天干天干天天做| 99九九精品| 成人性爱av| 久久产精品一区二区三区电影| 中国熟女网站| 91精品久久久久久综合五月天| 岛国福利在线精品播放| 少妇高潮喷水无套久久久久久| 激情色播| 在线观看综合精品亚洲| 97超碰久久| 精品人妻少妇| 亚洲综人| 久久久免费视频18| 91欧美巨乳| 久久视频少妇美女| 久草草一二三四区久久| 中文字幕丰满人妻日本| 97人人爱人人乐| 欧美性五月| 色偷偷2020免费视频播放| 国产精品3| 久久 久久国内精品亚洲| 欧美传媒一区| 午夜精品久久久久久久| 国模91| 性生活久久久久久久久久| 色 亚洲 91| 日韩精品午夜操呦呦不卡影院| 91丝袜激情在线| 亚洲各类熟们中文字幕| 白嫩国模丰满一二三区| 久久精品国产免费观看99| 亚洲精品日韩国产欧美| 中文字幕中文字幕一区二区| 日韩精品人妻一| 国产精品熟女丝袜一区二区| 大香蕉综合在线| 精品国产91av一区二区三区| 国产精品一区在线播放| 欧美乱妇狂野欧美在线视频| 亚洲精品国产精品乱码不卡| 久久黄黄| 国产一区二区三区精品观看啪| 97综合国产| 欧美淫乱视频| 日韩有码中文字幕女同性恋| 校园春色亚洲色图| 亚洲欧美另类激情小说| 美女的肌被草喷水视频| 丰满欧美放荡少妇在线| 欧美性色综合网| 色色热| 久久精品国产亚洲AV高级北京| 超碰97人妻在线| 欧美色97| 天天拍天| 色一区二区三区综合| 2019天天操天天爽天天拍| 极品丝袜无码| 9 9精品一区二区三区| 亚洲二区精品在线观看| 美女自卫慰黄网站免费| 激情综合五月| 1000午夜黄色| 夜夜欧美| 日本欧美一区二区三区免费| 日韩av不卡在线观看| 99精品网| 亚洲国产青青| 老女人综合网| 99精品在线播放| 美骚妇av高清在线| 欧亚日韩综合精品国产| 日韩啊V| 日本性爱不卡视频| 91欧美长吊| 中出后入| www.av家庭乱伦| 极品色www影院| 欧洲精品在线播放| 酒色综合网| 亚洲精品啪视频| 蜜臀AV成人精品蜜臀AV久久| 91美女片在线| 婷婷AV一区二区三区| 日本三级中国三级99人妇网站| 亚洲 欧美 另类 日韩 人妻一区| 中日韩久久久免费看| 日本成a人v网站在线观看| 色婷婷网| 欧美手机在线综合| 国产精品国产自产高清AV| 日本熟妇熟色97一本在线观看| 91天天综合在线观看| 在线观看亚洲专区| 欧美最大综合网| 亚洲欧美在线观看2021 | 五十路三级片| 亚洲大色鬼| 久久男人天堂| 91人妻超碰| 亚洲中字幕日本一区二区三区| 亚洲AV免费在线| 国产sv美女内射| 亚洲激情综合| 欧美日本不卡在线| 国产精品久久久久中文字幕| 欧美少妇性乱| 性暴力欧美猛交在线直播| 色九九九九久| 妇女一区二区三区| 麻豆这里只有精品| 欧美热图99| 天天做天天爱| 在线视频 亚洲精品| 怡红院怡春院| 国产中文大片资源中文字幕 | 丝袜视频一区二区在线播放国产中文 | 日韩 欧美 校园一区| 91A欧美电影网站| 丁香五月社区| 91色拍| 熟女色图在线| 九九九九热| 日韩操p| 丝袜视频网国产90| 天天综合91在线| 青青草色AV| 91碰碰| 天天91~综合入口| 激情综合网五月婷婷五月天| 91亚洲人| 福利天天都操| 久久久久密臀视频| 日本3级一区二区免费| 久久久久97| 91美女片在线| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 亚洲精品自拍| 中文有码9| 欧美偷偷网| 加勒比伊人综合| 久久亚州高清| 亚洲日本韩国极品一区二区| 大香蕉伊利av| 性色av蜜臀av色欲aV| 精品国产乱码久久久久久蜜臀| 97欧美色资源| www.yeyecao| 欧美日韩久久精品爱爱| 大香蕉一人在线| 插欧洲美女欧美精品| 亚洲人体视频在线观看| 青青青青青手机视频| 亚洲色丰满少妇高潮| 亚洲综合小说另类图欧美视频激情小说色五月天| 国产中午字一暮区| 人人摸人人入| 亚洲少妇在线影音| 91久久婷婷| 欧美成人午夜免费福利785| 大乔未久88一区| 无码丰满熟妇一区二区浪潮AV| 日本色色视频网站| 啪啪AV导航| 亚洲成熟国产精品美女| 国产精品久久伊人| 97色碰| 婷婷色一区| 调教熟妇 久久久久久| 国产天美欧美| 97久久精品亚洲中六字幕| 极品白嫩福利在线| 熟女天天干| 国产精品在线网站| 在线小视频| 超碰97伊人| 天天综合亚洲综合| 超碰精品国产无码| 亚洲91在线播放影院| av一区二区三区四区| 两性色网| 九月婷婷| 九九英色视频| 夜夜狠狠躁日日躁色视频| 试看60秒| 992视频一区| 最新日本中文字幕| 亚洲成人无码影院| 成人丁香五月| 人妻在线臀日韩| 欧美玖玖爱免费玖玖| 久久欧美激情| 国产女s强制榨精视频| 操逼操网| 美女黄色一级A视频| 夜夜爽爽爽| 99久在线精品99re8a| 国产乱码久久久| 欧美精品三区| 岛国片在线播放| 午夜天堂啪啪| 欧美一二三区四五区| 97一本大道亚洲一区| 色与欲影视天天看综合网| 久久在肏| 91福利网在线观看| AV免费在线播放一区| 97人肏| 男人的天堂日韩| 精品午夜福利| 日本性爱网址| 国产丝袜美女诱惑| 亚洲一二三四区在线免费看视频| 97超碰超碰| 国产精品人人爽人人做可爱福利| 成人av动漫在线观看| 亚洲网自拍| 日韩综合97p| 欧美一级A片不卡视频。| 婷婷爱五月| 神马午夜久久久| 偷拍五区| 91麻豆va国产精品| 少妇一区二区三区在线观看| 97网站在线观看 | 免费成人在线熟妇网| 极品色综合| 欧美亚洲厕所精品偷拍91| 日本污ww视频网站| 男人亚洲91首页在线| 物业黑人 AV一区| 日韩啪啪视频| 亚洲欧洲日韩国产自在线| 18一区二区三区| 97鸡把在线视频| 18禁美女裸体无遮挡啪啪| 国产激情久久久| 夜夜操中文字幕| 中文AV制服乱伦| 亚洲中文一区二区三区视频| AV在线资源| WWW.操逼.COM| 日本三级黄页| 欧美综合在线第一页| 日韩卡一卡二卡三在线| 蜜臀AV成人精品蜜臀AV久久| 亚洲国产97| 久久久精品国产亚洲AV无码| 精品无码久久久久| 91香蕉国产尤物视频| HEYZO高无码国产精品227| 日韩情色视频| 女人18精品一区二区三区| 99性视频| 欧美中字不卡| 高潮综合网| 日韩精品一二三四| 国产男女无套视频免费观看| 91人人看| 麻豆91熟妇人妻中文字幕茄子| 强奸乱伦AV一天堂网| 国产欧美日韩女同性恋ww喷水精品| 日产123区精品免费观看| 中文字幕日韩人妻视频一区二区三区 | 女生自91网站| 国产肏逼网站| 色播丁香| 超碰97国产欧美| 午夜丁香| 亚洲区限制级 99| 亚洲日韩在线a不卡99精品| 欧美色棕合| 亚洲天天综合| 久久久久久久 九九九九九九九| 91丝袜| 91色艳| 午夜精品久久久久久久第一页按摩| 天美麻花大全视频| 91热热色| 婷婷五月在线视频| 夜夜黄| 婷婷综合五月天| 亚洲熟女av中文字幕| 夜夜中出国产| 成人免费性爱视视| 男啪女色黄无遮挡免费观看| 无码99| 91中文字幕| 精品人妻一区二区免费蜜桃| 婷婷在线视频在线观看| 久视频在线观看| 亚洲欧洲中文日韩女优乱码| AV在线资源| 日韩无码黄色片| 大但人体久久久久| 婷婷丁香五月综合| 超碰在线在公开超碰在线在公开| 亚洲AV成人在线| 97视频在线播放| 丝袜喷水在线| 欧美成人A天堂片在线观看| 人人爽夜夜玩视频| 99视频内射三四| 麻豆天美在线喷水AV| 麻豆国产96在线| 91亚洲情色| 欧美久久久15P| 激情综合二| 久久岛国| 国产白嫩精品久久| 毛片久久| 国产诱惑| 亚洲老熟妇xxx| 大香蕉乱级| 欧美色图片欧美色图| 日韩AV片| 亚洲精品1区| 亚洲阿v天堂在线| 爱啪精品一区| 手机看片1025| 欧美一二三| 一区二区视频你懂的| 日本午夜操逼| 色香欲综合| 天天狠| 九月丁香婷婷色| 日日摸日日碰夜夜爽视频| 91骚妇| 99视频自拍| 东北毛片| 蜜臀一二三区| 精品99999久久久久久| 久久激情亚洲精品无码?V | 精品日韩| 97资源欧美| 午夜天堂啪啪| 欧美色图成人网一区二区| 亚洲综合性网址| 国产久久久久久久久一区二区| 蜜臀久久99精品久久久久久成人小说 | 秋霞一级鲁丝片A片| 蜜桃午夜视频一区二区| 69综合网| 亚洲精品一二区| 屁股久久久久久| 黄站在线免费观看| 三上制服丝AV| 欧美性爱五月天| 黄片免费久久久久久久| 中文字幕无码不卡啪啪| 国产日韩人人| 久9热| 国产精品美女视频诱惑| 不卡六六在线91| 欧美最婬乱婬爆婬性视频 | 精品一啪| 中文字幕在线日亚洲9| 三上悠亚在线毛片91| 人妻熟女一区二区| 欧美久久毛片基地| 在线日韩视频| 中文字幕亚韩| 操操吧亚洲乱伦视频| 视频不卡中文字幕| 亚洲图片 欧美电影| 国产精品 午夜福利| 日产狠狠干| 无码自拍SM| 自拍视频一区在线观看| 日本阿v天堂在线观看| 天天操妹子| 欧美亚洲高清晰 | 久干网| 精品女人999| 五月丁香激情啪啪| 日本欧美亚洲高清在线看| 无码操逼视频一下| 久久精品国产99久久,亚洲日韩久久日本一区一区三区 | 国产精品人妻一区二区| 精品欧美乱码久| 精品日韩产品在线,日韩在线不卡视频,欧美日韩免费专区/久, | 欧美激情超碰777| 日韩三四五区| 亚欧精品久久久久久久久久久| 2024人人操人人摸| 亚洲乱码尤物193YW| 囯产操逼片| 国产精品久久久久久久黄无码 | 蜜桃色色网站视频三区| 狠狠色综合网| 婷婷性爱| 色激情五月天| 狠狠干综合| 大香蕉色十月| 999狠狠综合| 日韩另类色图| 色噜噜人妻av 中文字幕| 国产玖玖| 欧美激情总合网| 日本三级小说中文字幕| 国产老熟女| 99综合自拍| 青青草在线视频欧美| 蜜臀久久在线视频| 亚洲Av噜噜一区二区三区妖精| 亚洲三级网址久久最新| 女生自91网站| 国产情色在线| 一二三四区电影| 亚洲黄色电影| 97超碰中文在线| 国产成人亚洲精品无码最新在线| 激情天天视频| 岛国色情视频在线观看| 乱欲一区二区| 自拍鲍鱼一区在线高清观看免费| 少妇滛荡视频| 国产亚州日韩欧美看片| 六月丁香久久| 日本91白丝| 久久鲁夜| 美熟女逼导航AV操逼| 欧美日韩精品久久久久东北老熟妇| 9久久久久久| 碰碰97| 9色国产精品一区粉嫩| 亚洲中文字幕在现观看| 亚洲精品国产无码高清| 亚洲中亚日激情视频| 大香蕉人妻久久| 国产高清自拍视频| 精品国产一区二区三区香蕉欧美| 无码聚合| 色性综合| 丝袜综合| 久久久久久人| 国产91福利小视频在线观看 | 男人高清无码一区二区| 伊人久久婷婷| 亚洲色欲一区二区三区| 久久99手机免费视频| 久久久精品一区二区| 人妻第一页| 为用户提供免费看黄网址在线观看| 欧美三级中文字幕hd| 久久久草成人网站久久久草成人久久久草久久久 | 在线国产福利网址导航| 五月丁香婷婷综合| 97精品第3页| 国产9熟妇视频网站| AAAA级日本片免费视频| 玖玖玖玖精品国产剧情| 婷婷色一区| A一级色女| 大香蕉一级黄色片久久| 精品日韩人妻视频| 久久久国产成人一区二区三区在线| 丁香五月天激情网站| 色女综合| 东北女人性交| 久久精品国产亚洲AV清纯| 国产成人在线观看综合| 一区麻豆 高清中文字幕| 天天摸天天操视频| 日本1区2区不卡视频| 免费一级视频特黄色大片| 丁香五月天久久精品视频一区二区三区| 怡红院亚洲怡春院av| 国产91亚洲精品一区二区三区| 九九色逼| 久操大香蕉超碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰 | 亚洲天天更新| 无码最新| 亚州操操穴网| 天天摸天天操视频| 人妻少妇被猛烈进入中| 精品久久視頻在线| 久久久精品视频欧州站| 欧美性爱精品七区| 日韩人妻资源在线看| 岛国999| 亚洲一区中文精品| 长长久久曰曰夜夜成人网| 一级黄碟| 日韩亚洲欧美中文字幕| 五月激情视频| 欧美成人国产精品| 亚洲性爱电影| 丰满欧美少妇| 99热欧美| 秋霞一级视频在线观看免费| 91中出在线| 青草精品视频-日本久久久久网站| 岛国免费黄色网址| 精品一区96| 欧美少妇色图| 大香蕉AV在线| 色综九九九一区| 亚洲精品亚洲人成在线麻豆| 欧美暴力猛交|