日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

NPU深度解析:從MAC陣列到軟件棧,AI推理基礎(chǔ)設(shè)施的實(shí)戰(zhàn)指南

NPU深度解析:從MAC陣列到軟件棧,AI推理基礎(chǔ)設(shè)施的實(shí)戰(zhàn)指南 在高性能計(jì)算這個(gè)圈子里混久了很容易形成一種慣性思維算力不夠就加卡跑得慢就堆機(jī)器。直到我開始認(rèn)真研究NPU相關(guān)的項(xiàng)目這種慣性思維被徹底打破了——AI基礎(chǔ)設(shè)施和生態(tài)層里的水遠(yuǎn)比加卡兩個(gè)字深得多。所謂NPU全稱Neural Processing Unit神經(jīng)網(wǎng)絡(luò)處理器。這幾年它頻繁出現(xiàn)在手機(jī)發(fā)布會上、端側(cè)AI的PPT里、大模型推理服務(wù)器的宣傳冊上。但說實(shí)話很多團(tuán)隊(duì)的認(rèn)知還停留在NPU是GPU之外另一個(gè)加速器的程度。真到選型、部署、調(diào)優(yōu)的時(shí)候NPU和GPU之間的差異會直接改寫你的模型結(jié)構(gòu)、量化策略、軟件棧甚至機(jī)柜里的散熱規(guī)劃。這篇文章我想把NPU這件事從底到上拆開講為什么神經(jīng)網(wǎng)絡(luò)計(jì)算需要專門的芯片、MAC陣列和峰值算力是怎么算出來的、為什么標(biāo)稱TOPS跑不滿、端側(cè)和云端NPU的兩種活法、以及決定NPU能不能落地的軟件棧。最后一部分會聊一些我在實(shí)際部署推理模型時(shí)踩過的坑和調(diào)優(yōu)思路。適合做模型推理服務(wù)、邊緣設(shè)備方案選型的技術(shù)負(fù)責(zé)人也適合想從基礎(chǔ)設(shè)施層面理解AI生態(tài)怎么轉(zhuǎn)的產(chǎn)品和技術(shù)愛好者。1. 神經(jīng)網(wǎng)絡(luò)處理器的誕生邏輯通用計(jì)算為什么扛不住1.1 從通用復(fù)雜到專用重復(fù)的計(jì)算模式變遷CPU的設(shè)計(jì)哲學(xué)是什么都能干無論是操作系統(tǒng)調(diào)度、數(shù)據(jù)庫查詢、還是游戲物理引擎都能用一套通用邏輯來處理。但通用是有代價(jià)的為了支持各種指令CPU里大量面積和功耗都消耗在指令譯碼、分支預(yù)測、亂序執(zhí)行、緩存一致性這些管理開銷上真正用來做數(shù)學(xué)運(yùn)算的算術(shù)單元只占一小部分。神經(jīng)網(wǎng)絡(luò)計(jì)算恰恰和CPU擅長的事是擰著來的。一個(gè)卷積層或者注意力層本質(zhì)上就是反復(fù)做同一件數(shù)學(xué)操作乘法和累加。CNN里的卷積是一個(gè)filter窗口在特征圖上滑來滑去Transformer里的矩陣乘法更是把乘累加應(yīng)用到了極致。這類負(fù)載的特點(diǎn)非常鮮明計(jì)算模式極度規(guī)律、數(shù)據(jù)訪問高度重復(fù)、單個(gè)操作本身極其簡單但數(shù)量驚人。用生活化的方式類比CPU像是一個(gè)精通十八般武藝的雜貨店老板什么需求都能應(yīng)付而神經(jīng)網(wǎng)絡(luò)計(jì)算則像是流水線上的擰螺絲工人動作單一但需要一天擰幾萬次。你要是讓雜貨店老板去擰螺絲他也能干但效率一定是浪費(fèi)的——他的經(jīng)驗(yàn)和體力本應(yīng)花在更復(fù)雜的問題上。1.2 NPU到底專在哪矩陣運(yùn)算、數(shù)據(jù)復(fù)用與片上存儲NPU的出現(xiàn)在于把擰螺絲這件事做到極致。它不再帶沉重的指令流水和亂序執(zhí)行邏輯而是把芯片面積幾乎全部留給計(jì)算單元和專用存儲只做神經(jīng)網(wǎng)絡(luò)推理/訓(xùn)練中頻率最高的操作矩陣乘法和卷積。這里的關(guān)鍵技術(shù)點(diǎn)是數(shù)據(jù)復(fù)用。做矩陣運(yùn)算時(shí)同一份權(quán)重會被反復(fù)使用同一塊輸入特征也會被多個(gè)計(jì)算單元同時(shí)用到。如果能把這些數(shù)據(jù)留在芯片內(nèi)部的片上存儲SRAM里反復(fù)讀取而不是每次都去片外DRAM搬運(yùn)能節(jié)省的功耗和時(shí)間是數(shù)量級的。NPU的架構(gòu)核心就是圍繞如何最大化片上數(shù)據(jù)復(fù)用、減少片外訪存來設(shè)計(jì)的這才是它效率遠(yuǎn)超通用芯片的根本原因。我見過不少人對NPU有誤解以為它只是把GPU里的Tensor Core搬出來單獨(dú)做成一款芯片。這個(gè)理解不完全對。GPU里的Tensor Core本質(zhì)上是給GPU這輛跑車加了一個(gè)氮?dú)饧铀傧到y(tǒng)整體架構(gòu)仍然是通用的而NPU則直接把這輛車改裝成了只跑直線加速賽的專用機(jī)器在特定負(fù)載下效率更高但靈活性大幅下降。1.3 大模型時(shí)代NPU的重新登場2023年之后大模型爆發(fā)圍繞算力的討論幾乎無處不在token、參數(shù)量、訓(xùn)練FLOPs這些詞滿天飛。也是在那個(gè)階段我注意到一個(gè)明顯的變化過去NPU主要出現(xiàn)在手機(jī)SoC和邊緣攝像頭這些設(shè)備上做的是人臉識別、語音喚醒這類小模型但大模型來了以后CPU跑不動、GPU太貴太耗電的中間地帶開始顯露出巨大的空間——端側(cè)跑7B甚至更大參數(shù)量模型、數(shù)據(jù)中心跑高吞吐推理、AI Agent應(yīng)用需要低延遲連續(xù)推理這些都是NPU的機(jī)會。它解決的核心問題可以概括成一句話在給定的功耗和成本約束下用最少的資源把海量矩陣運(yùn)算跑完。理解了這句話后面所有的架構(gòu)設(shè)計(jì)、性能指標(biāo)、調(diào)優(yōu)手段就都有了主線。2. NPU的架構(gòu)底細(xì)MAC陣列、數(shù)據(jù)流與片上內(nèi)存的三角關(guān)系2.1 數(shù)一數(shù)MAC算力指標(biāo)的真正含義要讀懂NPU的算力標(biāo)稱值繞不開一個(gè)基本動作MAC也就是Multiply-Accumulate乘累加。一次MAC完成y y w × x這是神經(jīng)網(wǎng)絡(luò)里最基本的計(jì)算原子。把一堆MAC單元排列成二維陣列同一時(shí)刻讓陣列里所有單元都工作就構(gòu)成了矩陣乘法的硬件加速引擎。廠家宣稱的TOPSTera Operations Per Second每秒萬億次操作就是用這個(gè)陣列算出來的TOPS MAC單元總數(shù) × 2 × 時(shí)鐘頻率注意那個(gè)2因?yàn)橐淮蜯AC包含一次乘法和一次加法業(yè)界習(xí)慣把這兩個(gè)操作都算進(jìn)操作數(shù)里。舉個(gè)例子假設(shè)一顆芯片有4096個(gè)MAC單元跑1GHz那么它的算力是4096 × 2 × 1GHz 8.192 TOPS。這里給出一個(gè)直接的參考當(dāng)前主流旗艦手機(jī)SoC里的NPU算力在幾十TOPS量級專門的云端推理芯片能到數(shù)百TOPS而英偉達(dá)最新數(shù)據(jù)中心GPU在FP4精度下能到幾千TOPS注意精度差異。只看數(shù)字沒有意義必須把精度的前提綁定在一起否則就是不同量綱在比大小。2.2 數(shù)據(jù)流設(shè)計(jì)權(quán)重固定、輸入固定還是輸出固定MAC陣列只是積木真正決定NPU效率的是數(shù)據(jù)怎么在陣列之間流動。業(yè)界把各種流動策略統(tǒng)稱為Dataflow數(shù)據(jù)流主要有三種流派第一種是權(quán)重固定Weight Stationary權(quán)重一次性從片外搬到片上后就不動了后續(xù)所有輸入特征都來復(fù)用這份權(quán)重。卷積神經(jīng)網(wǎng)絡(luò)里權(quán)重復(fù)用度極高這種策略特別適合CNN場景。第二種是輸入固定Input Stationary把輸入特征留在片上多個(gè)不同的權(quán)重輪流來跟它計(jì)算。這適合權(quán)重不斷變化、輸入需要反復(fù)使用的場景。第三種是輸出固定Output Stationary把部分累積結(jié)果留在計(jì)算單元里一邊讀新的輸入和權(quán)重一邊累加減少中間結(jié)果的搬移。實(shí)際芯片很少用單一數(shù)據(jù)流大多是混合策略根據(jù)模型結(jié)構(gòu)動態(tài)調(diào)整。我在調(diào)研昇騰、Google TPU這些公開資料時(shí)發(fā)現(xiàn)它們在數(shù)據(jù)流選擇上的文檔描述五花八門但本質(zhì)都是在減少數(shù)據(jù)搬移這個(gè)目標(biāo)下做權(quán)衡。這個(gè)權(quán)衡是極其關(guān)鍵的矩陣乘法的計(jì)算量隨矩陣維度增長如果數(shù)據(jù)在片外和片上之間反復(fù)搬運(yùn)功耗和延時(shí)都會迅速失控算力再高也無濟(jì)于事。2.3 片上內(nèi)存和帶寬NPU性能的真正瓶頸芯片計(jì)算單元速度再快數(shù)據(jù)喂不進(jìn)來也是白搭。NPU設(shè)計(jì)中有一個(gè)我特別想強(qiáng)調(diào)的規(guī)律性能和功耗的瓶頸往往不在計(jì)算陣列而在存儲和帶寬。以一張1080×1920的輸入圖像為例如果進(jìn)行3×3卷積卷積核要滑過大約37萬個(gè)位置每個(gè)位置需要讀取9個(gè)像素。如果這些數(shù)據(jù)全靠從片外DRAM讀取內(nèi)存訪問次數(shù)會被放大數(shù)倍。將圖像塊緩存到片上SRAM中后訪問量就是圖像本身的數(shù)據(jù)量了。片上SRAM越大能裝下的權(quán)重和中間結(jié)果越多對外部內(nèi)存帶寬的要求就越低但SRAM面積成本極高容量做大會直接讓芯片尺寸和成本失控。這就形成了一個(gè)三角制約計(jì)算陣列規(guī)模決定峰值算力上限片上SRAM決定數(shù)據(jù)復(fù)用能力片外內(nèi)存帶寬決定數(shù)據(jù)的供水能力。三者必須匹配任何一塊短板都會讓芯片實(shí)際表現(xiàn)遠(yuǎn)低于標(biāo)稱值。這也解釋了為什么同樣標(biāo)稱100TOPS的兩顆芯片實(shí)測性能可能差出兩倍——短板的位置不同。3. 算力不等于峰值有效算力、內(nèi)存帶寬與功耗的三方掰扯3.1 為什么實(shí)測跑不到標(biāo)稱TOPS幾乎所有剛接觸NPU的團(tuán)隊(duì)都會在第一個(gè)性能驗(yàn)證項(xiàng)目里撞上同一堵墻芯片標(biāo)稱50TOPS實(shí)測跑一個(gè)常規(guī)的ResNet或Transformer模型實(shí)際有效算力可能只有20TOPS出頭。這個(gè)落差是由多方面原因疊加造成的。第一個(gè)原因是利用率打不滿。MAC陣列需要源源不斷地供數(shù)才能全速運(yùn)轉(zhuǎn)但模型里的算子并不都是整齊劃一的矩陣乘法。卷積、激活函數(shù)、歸一化、殘差連接、非線性操作這些算子對MAC陣列的利用率參差不齊有些算子甚至幾乎不使用MAC陣列。把這些算子的耗時(shí)平均下來陣列利用率落到50%~70%是非常正常的。第二個(gè)原因是訪存受限。Roofline模型把計(jì)算強(qiáng)度定義為每讀取一字節(jié)數(shù)據(jù)可以執(zhí)行的浮點(diǎn)操作數(shù)。如果某個(gè)算子的計(jì)算強(qiáng)度遠(yuǎn)低于做乘加運(yùn)算所需的數(shù)據(jù)量計(jì)算單元就會長時(shí)間處于等數(shù)據(jù)的空閑狀態(tài)。大模型推理里特別典型的decode階段每個(gè)token只做一次矩陣運(yùn)算但權(quán)重必須全部從內(nèi)存過一遍——這時(shí)候芯片的瓶頸已經(jīng)從算力轉(zhuǎn)移到了內(nèi)存帶寬。第三個(gè)原因是調(diào)度和同步開銷。多核并行時(shí)核與核之間需要同步、輸出結(jié)果需要匯總拼接這些操作都會產(chǎn)生真實(shí)的時(shí)間開銷但在標(biāo)稱值里是看不見的。3.2 有效算力怎么評估才靠譜基于這些經(jīng)驗(yàn)我給團(tuán)隊(duì)定的評估方法很簡單不要信TOPS就用準(zhǔn)備上線的真實(shí)模型去工程板上跑一遍同時(shí)結(jié)合芯片的計(jì)算強(qiáng)度和存儲帶寬做一次Roofline分析判斷當(dāng)前模型是受算力限制還是帶寬限制。評估時(shí)我會在同樣的情況下跑幾個(gè)驗(yàn)證指標(biāo)單batch延時(shí)一次推理從輸入到輸出了多久、多batch吞吐每秒能過多少個(gè)樣本、以及達(dá)到這些數(shù)據(jù)時(shí)的功耗和芯片溫度。把這幾個(gè)數(shù)放到同一個(gè)坐標(biāo)系里和廠商提供的算力曲線做對比基本就能判斷這顆芯片的實(shí)際可用算力水平。需要特別提醒的是不同尺寸的模型在NPU上的表現(xiàn)差異巨大。模型越大權(quán)重片外讀取的比例越高對帶寬越敏感模型越小越容易整體塞進(jìn)片上SRAM計(jì)算陣列的利用率就越高。我在一個(gè)項(xiàng)目里測過同一顆芯片小模型利用率能到70%以上換成大模型直接掉到30%。這不是芯片變差了而是模型特征和硬件特征的匹配度不同。選型時(shí)如果只看廠商給的標(biāo)準(zhǔn)模型測試報(bào)告很容易被誤導(dǎo)。3.3 能效比和TDP端側(cè)和云端都躲不開的硬約束功耗是算力之外另一個(gè)決定選型的硬指標(biāo)。數(shù)據(jù)中心里一顆300W的GPU可以暴力堆算力對能效比沒有那么敏感因?yàn)闄C(jī)柜電源和散熱都能兜住但邊緣盒子和手機(jī)完全不同TDP可能只有幾瓦到十幾瓦電池和散熱約束把可用的算力上限死死壓住了。能效比通常用TOPS/W來表示。例如一個(gè)10TOPS、功耗5W的端側(cè)NPU能效比約2TOPS/W而一顆達(dá)到300W的高性能加速芯片即使算力做到500TOPS能效比也只約1.7TOPS/W。在高性能計(jì)算這個(gè)圈子里混久了你會在各種發(fā)布會PPT里反復(fù)看到一個(gè)話術(shù)我們的能效比遠(yuǎn)高于GPU。但必須冷靜想想它是在什么樣的精度、什么樣的模型、什么樣的batch、什么樣的占空比下測出來的。端側(cè)芯片宣傳能效比時(shí)常常用的是稀疏化激活后的小模型實(shí)測數(shù)據(jù)而這個(gè)數(shù)據(jù)在真實(shí)負(fù)載下不一定能復(fù)現(xiàn)。4. 端側(cè)NPU和數(shù)據(jù)中心NPU同一技術(shù)路線的兩種活法4.1 手機(jī)SoC里的NPU在功耗預(yù)算里做文章端側(cè)NPU的代表形態(tài)是集成在手機(jī)SoC里的獨(dú)立計(jì)算單元。無論是蘋果的Neural Engine、高通的Hexagon DSP衍生出的NPU架構(gòu)還是各廠商自研的AI加速模塊它們面對的共同約束都是功耗預(yù)算只有幾瓦還得和CPU、GPU、基帶、ISP搶面積和帶寬。這迫使端側(cè)NPU在設(shè)計(jì)上極端重視能效比寧可犧牲通用性也要把常見視覺模型跑得飛快。端側(cè)NPU最常見的加速對象是攝像頭相關(guān)的CV模型、語音識別、翻譯、以及大模型出現(xiàn)后的端側(cè)LLM推理。以目前手機(jī)上流行的小參數(shù)模型為例一個(gè)7B模型用INT4量化后權(quán)重約3.5GB左右遠(yuǎn)超片上內(nèi)存必須流式地從LPDDR讀取這時(shí)推理速度基本被內(nèi)存帶寬鎖死。這也是為什么有些手機(jī)宣傳本地跑大模型實(shí)際每秒只能吐幾個(gè)token——硬件本身沒有做錯(cuò)什么只是工作模式已經(jīng)完全切換到了訪存受限狀態(tài)。4.2 云端可擴(kuò)展的AI芯片把陣列做成規(guī)模云端NPU和端側(cè)的思路截然不同。數(shù)據(jù)中心里的AI推理芯片不再那么計(jì)較單瓦能效更強(qiáng)調(diào)的是絕對吞吐、大批量處理能力和可擴(kuò)展的互聯(lián)能力。Google TPU、昇騰的推理芯片、Amazon Inferentia這類產(chǎn)品的共同點(diǎn)是核心還是MAC陣列但陣列規(guī)模更大、片上內(nèi)存和HBM帶寬配置更高同時(shí)通過PCIe或?qū)S没ヂ?lián)協(xié)議把多顆芯片拼成一個(gè)計(jì)算集群。云端NPU最典型的使用場景是高并發(fā)的推理服務(wù)一個(gè)在線推薦服務(wù)可能每秒要處理幾萬個(gè)請求一個(gè)LLM服務(wù)可能要同時(shí)服務(wù)數(shù)千個(gè)并發(fā)會話。這類場景下batch維度為持續(xù)利用MAC陣列提供了條件——把多個(gè)請求的矩陣乘法合并成更大的矩陣運(yùn)算陣列利用率能大幅提升。這里要提一個(gè)最近討論度很高的詞token算力需求評估。LLM推理的算力需求是有明確物理公式的。模型推理一個(gè)token的理論計(jì)算量大約等于模型參數(shù)量的兩倍單位FLOPs所以一個(gè)7B模型生成一個(gè)token大約需要14GFLOPs換算成MAC操作就是7GMAC。如果芯片標(biāo)稱100TOPS且利用率100%理論上每秒能生成約1.4萬token但實(shí)際要考慮prefill階段的高計(jì)算量和decode階段的帶寬瓶頸還要算上batch的疊加效應(yīng)。網(wǎng)上有不少人在問評估token算力需求到底怎么算我的經(jīng)驗(yàn)是先拆解模型的參數(shù)量、上下文長度、并發(fā)數(shù)和響應(yīng)速度目標(biāo)再反推出需要的譯碼吞吐量和帶寬這才是一個(gè)可執(zhí)行的需求評估框架而不是停留在感覺層面。4.3 NPU與GPU共存基礎(chǔ)設(shè)施層的分工對應(yīng)到實(shí)際的數(shù)據(jù)中心NPU和GPU并不是你死我活的替代關(guān)系。訓(xùn)練階段模型結(jié)構(gòu)頻繁變化、需要大規(guī)模通用矩陣運(yùn)算和混合精度支持這仍然是GPU的主場而訓(xùn)練完成后的在線推理服務(wù)、大批量、模型結(jié)構(gòu)固定NPU在能效比和單卡吞吐上往往更有優(yōu)勢更適合承擔(dān)這些負(fù)載。在AI基礎(chǔ)設(shè)施規(guī)劃里我看到越來越多團(tuán)隊(duì)采用CPU負(fù)責(zé)調(diào)度和前后處理、GPU負(fù)責(zé)訓(xùn)練和復(fù)雜推理、NPU承擔(dān)高并發(fā)固定模型的策略。這種分工對應(yīng)著整個(gè)AI基礎(chǔ)設(shè)施的演進(jìn)趨勢基礎(chǔ)設(shè)施層不再是一臺機(jī)器裝一張GPU那么簡單而是由異構(gòu)計(jì)算節(jié)點(diǎn)、調(diào)度平臺、存儲和網(wǎng)絡(luò)共同構(gòu)成的生態(tài)。后面講到軟件棧時(shí)你會更深刻地理解這個(gè)生態(tài)的黏合劑根本不在硬件本身。5. 軟件棧才是NPU的隱形戰(zhàn)場算子庫、編譯器與量化方案5.1 算子缺失AI芯片落地的第一大難題關(guān)于NPU一個(gè)經(jīng)常被嚴(yán)重低估的事實(shí)是NPU本身只是半成品周圍的軟件工具鏈、算子庫、編譯器決定了它是否真的能被用起來。一款全新AI芯片就算峰值算力做到全球第一如果TensorFlow/PyTorch模型導(dǎo)進(jìn)去有一堆算子無法編譯團(tuán)隊(duì)照樣不會選它。云端GPU生態(tài)之所以強(qiáng)大恰恰是CUDA二十年積累的算子庫和開發(fā)工具的深厚沉淀這是留給新NPU最重要的生態(tài)門檻。我在一個(gè)邊緣端項(xiàng)目里遇到的情況很有代表性選了一款算法團(tuán)隊(duì)認(rèn)為性價(jià)比極高的NPU芯片結(jié)果模型里一個(gè)在高版本PyTorch里非常普通的注意力機(jī)制變體使用了一種非標(biāo)準(zhǔn)的相對位置編碼實(shí)現(xiàn)在該芯片的SDK中沒有對應(yīng)實(shí)現(xiàn)。后續(xù)查算子映射表發(fā)現(xiàn)雖然2D卷積、全連接這些標(biāo)準(zhǔn)算子都有但transformer里常用的reshape和transpose組合在特定數(shù)據(jù)布局下觸發(fā)了一個(gè)未優(yōu)化的路徑性能掉了一個(gè)數(shù)量級。大家只能改網(wǎng)絡(luò)實(shí)現(xiàn)或者等廠商更新工具鏈。芯片算力強(qiáng)但算子不全這種情況在工程上的代價(jià)遠(yuǎn)比多買幾塊GPU大得多——因?yàn)橹匦略O(shè)計(jì)和驗(yàn)證模型的時(shí)間成本是不可接受的。5.2 神經(jīng)網(wǎng)絡(luò)的編譯與圖優(yōu)化為了讓模型從訓(xùn)練框架跑到NPU上軟件棧一般會經(jīng)歷一個(gè)前端對接→圖優(yōu)化→算子映射→指令生成的流水線。前端對接負(fù)責(zé)讀入ONNX、TensorFlow或PyTorch導(dǎo)出的模型格式轉(zhuǎn)換成統(tǒng)一的中間表示。圖優(yōu)化階段做的是算子融合、維度折疊、數(shù)據(jù)布局轉(zhuǎn)換這些事情。算子融合是最直觀的優(yōu)化手段把卷積后面的激活函數(shù)、批量歸一化這些逐元素操作融合進(jìn)卷積本身減少中間結(jié)果的搬運(yùn)和多次啟動的開銷。這類優(yōu)化在做傳統(tǒng)推理優(yōu)化時(shí)RISC風(fēng)格的思路是完全一致的NCNN、MNN這些推理框架在CPU和GPU上都在做同樣的事。算子映射決定了一個(gè)模型算子能不能落到NPU的MAC陣列上。如果算子能直接映射就調(diào)用廠商提供的算子庫如果不能就嘗試將其拆解成多個(gè)簡單算子的組合實(shí)在拆不了只能退回到CPU執(zhí)行。一個(gè)模型里只要有少數(shù)幾個(gè)算子落到CPU上性能就會塌方因?yàn)閿?shù)據(jù)要在NPU和CPU之間來回搬運(yùn)走一次仿存可能比在NPU上跑幾次算子還慢。5.3 量化用精度換速度的經(jīng)典交易NPU能效比高的一大來源是低精度計(jì)算。云端GPU訓(xùn)練常用FP16、BF16甚至FP8而NPU推理主流是INT8端側(cè)LLM更是大量采用INT4/INT8混合精度。量化就是把FP32/FP16的權(quán)重值和激活值用更少的bit來表示。量化按方式分為訓(xùn)練后量化PTQ和量化感知訓(xùn)練QAT。PTQ是最省事的路線直接用一批代表數(shù)據(jù)做校準(zhǔn)統(tǒng)計(jì)激活值的分布算出合適的縮放系數(shù)后就直接把模型轉(zhuǎn)成INT8。QAT則需要在訓(xùn)練階段就模擬量化誤差讓模型通過訓(xùn)練去適應(yīng)低精度表示精度損失通常更小但需要訓(xùn)練資源和流程改造。這里有一個(gè)非常重要的認(rèn)知量化不是簡單的四舍五入而是要在最小化精度損失和最大化計(jì)算效率之間尋找平衡。per-tensor量化給整個(gè)張量一個(gè)縮放系數(shù)實(shí)現(xiàn)簡單但誤差大per-channel量化給每個(gè)通道單獨(dú)一個(gè)系數(shù)精度好但計(jì)算復(fù)雜度略高。具體用哪種取決于模型對數(shù)值范圍的敏感度。我在做過一個(gè)視覺模型時(shí)模型里的某一層對量化特別敏感改用混合精度方案只對這一層保持FP16其余層用INT8最終在精度損失低于0.1%的前提下拿到了數(shù)倍的速度提升。這個(gè)經(jīng)驗(yàn)說明要善用工具提供的profiling信息不要一股腦全員INT8。6. NPU實(shí)戰(zhàn)經(jīng)驗(yàn)部署推理模型時(shí)踩過的坑和調(diào)優(yōu)思路6.1 模型跑不起來的頭號原因算子不支持如果你準(zhǔn)備把一個(gè)PyTorch模型部署到NPU上我先給你一個(gè)心理準(zhǔn)備第一次編譯大概率會報(bào)算子不支持。這幾乎是所有NPU入局團(tuán)隊(duì)都要經(jīng)歷的第一課區(qū)別只是報(bào)錯(cuò)早晚而已。我踩坑最深的一次是一個(gè)目標(biāo)檢測模型前向傳播里用了Torch自帶的torch.topk做候選框挑選。這個(gè)算子在NPU SDK的算子列表里明確標(biāo)記為不支持編譯直接失敗。當(dāng)時(shí)第一個(gè)想法是換一顆硬件支持更好的NPU但重新選型代價(jià)極大。最終解決方式是重構(gòu)后處理邏輯候選框數(shù)量固定用argsort取前K個(gè)替代復(fù)雜的topk動態(tài)邏輯再配合NMS在CPU上做。模型的檢測精度完全沒變但模型終于能完整地跑到NPU上去了。這段經(jīng)歷讓我總結(jié)了一條流程在選型階段就把模型的關(guān)鍵算子列出來逐項(xiàng)比對廠商提供的算子支持列表。重點(diǎn)看三個(gè)地方動態(tài)shape尤其是reshape、slicing這類在編譯期無法確定維度的操作、控制流操作循環(huán)、條件分支、以及各種自定義op。這三個(gè)地方是模型遷移到NPU時(shí)最常出問題的高風(fēng)險(xiǎn)區(qū)。寧可前期多花幾天做算子審計(jì)也不要等模型已經(jīng)跑通CPU版本后在最后一步換硬件。6.2 性能調(diào)優(yōu)的幾個(gè)抓手如果你的模型已經(jīng)能在NPU上正確跑通但速度達(dá)不到預(yù)期我建議按下面的順序排查和調(diào)優(yōu)這個(gè)順序是根據(jù)經(jīng)驗(yàn)教訓(xùn)得出來的每一步都有真實(shí)意義先看數(shù)據(jù)布局。深度學(xué)習(xí)框架里數(shù)據(jù)有NCHW和NHWC兩種排布不同NPU偏好的布局不一樣且對卷積層和全連接層的影響不同。如果布局和硬件不匹配算子可能會觸發(fā)重排操作性能會顯著受損。首選手段是通過編譯器選項(xiàng)指定實(shí)在不行才考慮改模型。再看batch策略。很多NPU在batch較小時(shí)無法打滿計(jì)算陣列。LLM服務(wù)優(yōu)化的關(guān)鍵手段之一就是動態(tài)batch——把多個(gè)并發(fā)請求聚合成一個(gè)大batch同時(shí)處理大幅提升吞吐。如果服務(wù)延遲在可接受范圍內(nèi)盡量讓batch大一些。再看多核調(diào)度。多核NPU產(chǎn)品里模型如何在核之間切分是決定性能的關(guān)鍵。常見切分方式有按通道切分、按空間切分、按batch切分。廠商SDK通常有自動切分能力但自動方案不一定最優(yōu)特別是對不規(guī)則的模型結(jié)構(gòu)。實(shí)測后效果不理想時(shí)就要考慮手動指定切分策略。最后看計(jì)算與數(shù)據(jù)傳輸?shù)牧魉丿B。NPU和CPU異步工作時(shí)數(shù)據(jù)搬運(yùn)可以和計(jì)算并發(fā)進(jìn)行做到邊搬邊算。很多NPU的SDK都提供異步接口、用stream/task隊(duì)列來實(shí)現(xiàn)這一點(diǎn)如果代碼寫成同步式性能會損失一截。這個(gè)優(yōu)化做到位往往能帶來20%~30%的總耗時(shí)下降。6.3 NPU選型時(shí)的現(xiàn)實(shí)問題清單最后結(jié)合近期被反復(fù)提及的怎么統(tǒng)一管理多臺算力服務(wù)器這個(gè)方向給大家一份我在項(xiàng)目里實(shí)際使用的選型和部署檢查清單按重要程度排序算力需求和內(nèi)存帶寬是否匹配。模型多大、權(quán)重多大、片上SRAM多大、片外帶寬多少這幾個(gè)數(shù)先測算不要只看TOPS。內(nèi)存容量夠不夠。《token算力需求評估》提到的LLM場景尤其要算KV Cache占用的顯存跟模型權(quán)重加在一起再乘以并發(fā)數(shù)就是所需內(nèi)存容量的下限。KV Cache的大小是上下文長度的數(shù)倍乘以隱藏層維度和層數(shù)很多項(xiàng)目都在這里栽過跟頭。算子支持列表和模型算子集合做diff。這個(gè)上面講過了提前做別等到最后。軟件工具鏈的迭代速度。SDK活躍度多高、發(fā)布節(jié)奏多快、遇到的問題能不能獲得及時(shí)反饋決定了踩坑之后的存活率。多節(jié)點(diǎn)統(tǒng)一管理方案。多臺算力服務(wù)器管理本質(zhì)上是一個(gè)異構(gòu)調(diào)度問題。如果是同品牌NPU廠商通常提供集群管理平臺如果是混合了不同N卡、不同NPU就需要靠Kubernetes加設(shè)備插件來做統(tǒng)一資源抽象。實(shí)際管理多臺設(shè)備時(shí)的核心訴求是設(shè)備的可觀測性、故障自動轉(zhuǎn)移、作業(yè)的親和性調(diào)度。建議先從這兩個(gè)維度出發(fā)搭建一是選一個(gè)支持異構(gòu)設(shè)備接入的調(diào)度框架把NPU設(shè)備插件化接入二是建立統(tǒng)一的監(jiān)控面板把每臺服務(wù)器的算力利用率、顯存占用、溫度功耗采集上來。沒有監(jiān)控直接上多機(jī)負(fù)載出了問題排查成本會非常高。成本模型。把芯片價(jià)格、整機(jī)功耗、散熱改造成本、部署后的運(yùn)維人力全部算進(jìn)去再和GPU方案做全周期對比。NPU香不香答案一定是你自己算出來的而不是廠商PPT告訴你的。寫到這里基本都是我在多個(gè)NPU相關(guān)項(xiàng)目里用時(shí)間和夜班換來的教訓(xùn)?;叵肫饋碜詈诵牡囊粭l體會是NPU的價(jià)值從來不是一個(gè)芯片的性能參數(shù)而是它周邊那個(gè)完整的軟硬件生態(tài)能否閉環(huán)。你選的不是一個(gè)TOPS數(shù)字而是一整套研發(fā)工作流。只要把算力需求算清楚、算子審計(jì)做在前面、軟件棧驗(yàn)證做徹底NPU在很多場景下完全有能力成為比GPU更務(wù)實(shí)的算力選擇。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
加勒比无码毛片| 久久人妻熟女一区二区| 97亚洲中文| 九九视频黄色片| 国产99久久99热这里只有精品15| 国产农村妇女精品1区二区| 青青草精品| 亚洲涩图欧美| 国内精品伊人久久久久影院会| 欧美狠狠弄| 淫淫综合网| 欧美系列在线一区二区| 97超碰这里只有精品| 精品视频一二三中文| 精品午夜福利国产一区二区在线观看 | 国产青视频| 人人妻人人澡人人爽久久av| 日本色色网| …中文字幕亚洲乱,97人妻无码费视…| 无码高清少妇久久| 91l欧美在线| 爱妃国产亚洲视频中文字幕| 一区二区三区日韩欧美| 国产区日韩区在线观看| 精品国产72| 久久久久久999| 超碰成人公开| 柠檬AV导航| 中出91视频| 免费精品福利在线观看| 久久国产精品视频| 色香色欲天天综合网天天来吧| 9 9无尺码天堂网| 18禁网站在线播放| 欧美色图电影| 嗯阿好爽好紧| 中文字幕亚洲热播人妻| 欧美日本视频一区| 五月丁香色婷婷| 亚洲成人贴图| 亚洲天堂日本| 99精品久久久久久久婷婷蜜桃| 国外91| 丰满少妇乱子伦精品无| 精品人妻一区二区蜜桃视频| 无码国产精品午夜不卡(| 国产9l 大屁股| 91三级理论片播放器| 亚洲涩图欧美| 久久老子无码午夜伦不卡| 精品十八在线观看| 污啪啪啪视频| 操www| …中文字幕亚洲乱,97人妻无码费视…| 亚洲中文字幕熟女| 美女上床网站| 黄污污污污| 香蕉人欧美综合| 天操天操夜操夜月操月年年操| 手机在线播放国产福利| 九九九九9999| wwe 天天干.com| 99精品久久久久久久婷婷| 99rre在线精品99re8| 九九九网页| 综合操逼| 人妻色偷色噜| 丰满欧美放荡少妇在线| 97超碰jingpin| 天美传媒AV在线播放| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 翔田千里AⅤHD无码| 亚洲精品欧洲精品| 成人电影一区| 一区二区三区 日韩欧美| 久久97视频| 91暧暧| 亚洲第一无码播放立川理惠| 国产精品4p在线观看| 久久久三区二区一区| 欧美大香蕉在线观看| 大香网站| 欧美黄色大片在线观看 | 中文字幕一区二区免费在线| 狠狠爱夜夜| 99热在线不卡| 色综合美国| 操逼网免费无码视频| 天天射夜夜骑| 99国产精品免费| 亚洲无码99| 国产精品成人久久一区二区三区| 国产乱伦搜索结果91P| 欧美激情亚洲| 白丝少妇一区二区| 厕所偷拍在线| 久久午夜伦| 久久一区二区三区入口| 免费黄色片。| 强奸乱伦免费网站| 熟女探花啪啪| 国产精品福利视频| 97精品综合久久网| 免费精品无码一级毛片牛牛影视| 日韩丰满熟妇| 97久久精品国产| 极品白嫩美女白浆成人福利在线看| 女人天堂av在线播放| 国产成人精品一区| 色悠久久久av| 九九九影院| 天天综和| 中文字幕一区 二 区 三 四 五 区日 日 骚| 日韩丝袜二区| 懂色AV蜜臀无码精品APP| 国产对白刺激视频| 国人欧美精品一区二区| 久热婷婷| 日韩啪啪啪啪啪| 99e久久国产精品| 26uuu久久| 蜜臀久久99精品久久久久久婷婷| 国产吹潮女在线观看| 97就爱干| 青青欧美在线| 成人无码专区精品视频| 欧美另类自拍| 伊人97色天使| 白丝被操91| 五十路三区在线| 国产91美女视频| 91青青在线视频| 加勒比五月天| 91亚洲情色| 久久国产精品91| 欧美黄页在线| 欧美中文字幕一区| 骚熟女AV网| 91精品人妻一品二品三品| 99re免费| 国产精品一区二区校花| 密乳无码| 午夜色婷婷| 开心婷婷五月| 亚洲色图欧美色图制服丝袜 | 青青久草| 欧美亚洲自拍另类人妻| 日本东京热加勒比久久| 亚洲欧美一区二区三区一猛片| 亚洲国产欧美中文永久| 欧美日韩高潮喷水91| 欧美一区二区情色| 天天日熟妇| 久9精品| 欧美日韩*字幕一区| 亚洲成人日韩小说| 婷婷五月在线视频| 亚洲熟女一区| 麻豆久久精品亚洲精品88 | 亚洲国产一区二区三区在线| 一区| 欧美一级AAAAAAA| 亚洲第一精品在线视频| 国产欧美日韩在线观看麻豆传媒公司 | 91丝袜视频在线观看| 中文字幕欧美日韩三级| 极品白嫩美女白浆成人福利在线看| 综合色久| julia中文字幕在线观看| 茄子社区国产精品| 91av一区二区在线观看| 3571色综合一区二区二区| 超碰538| 91网站在线播放| 中文字幕后石码三区四区| 18禁免费视频| 丁香色五月 97干| 国产乱婷婷精品二区三区| 亚洲老司机123专区| 91超级碰| 91嫩草欧美| 自拍六区| 高清在线偷拍自拍视频| 999久久久久久久精| 国产真乱mangent| 丁香激情网| 色老汉色| 亚州性色| 首页亚洲国产高跟丝袜诱惑视频| 五月开心久久AV官网| 人妻人久久精品中文字幕| 欧美色网| 97干在线视频| 青青草丝袜在线视频| 中文字暮97| 俺去啦自拍| 亚洲成人一区二区精品| 97精品97| 免费一级特黄特色大片在线观看看| 吻戏激情性巴克| 玖玖大干人妻| 自拍偷拍2025在线观看| 日韩特一级久久| 女人 A一级| 国产传媒美日韩av| 久久首页| 蜜臀色乳| 欧美一区二区三区入口| 国产精品亚洲四五区在线观看| 啊啊啊啊啊啊在线| 亚洲精品 大香蕉| 久久久久久久六六| ...日韩成人一区二区三区字幕| 亚洲天堂男人天堂网| 无码国产精品午夜不卡(| 91综合天天看| 色爱国产| 欧美日韩亚洲天堂| 国产中文精品一区二区在线观看| 欧美激情亚洲情色| 人妻熟女av国产网站| 欧美综合传媒| 日本超碰在线国产一区| 人妻夜夜爽天天爽三区麻豆AV网站| 91麻豆天美国产欧美日| 91性网| 精品日韩| 免费在线观看国内色片网站网址 | 人妻精品视频一区二区三区| 91女在线观看| 麻豆精品一区二区三区四区免费观看| 青青操青娱乐| 凹凸视频在线一区二区| 97频视在线| 囯产精品强| 黄色性爱网网| 91色插| 国产在线视视频有精品| 亚州Av天美传媒| 国产精品黄色三级av| 欧美超碰人妻97| 97最新在线播放视频| 另类欧美色| 中国韩国明星一极片一区乱码毛片人妻熟女一区二区三区 | 美女黄页| 欧美日韩啪啪电影| 亚洲国产福利视频| 和协无码影院| 国产精品麻豆免费视频| 青青草狠狠撸| 国产剧情一区在线观看| 国产一区二区三区高清视频| 嗯嗯啊好大| 亚洲成人久久美女| 欧美热图99| 亚洲色色色| 黑人免费福利视频| 色九月综合| 成人av动漫在线观看| 久久久久亚洲Av无码专区老牛影视| 天天看特黄的免费网站| 综合亚洲欧美精品日韩?v| 日韩性爱播放| 国产精品伦理| 哈哈操电影AV| 成人在线视频网| 性色高清在线| 欧美刺激色黄片免费看| 不卡中文字幕aⅴ在线| 中出20p| 欧亚日韩中文在线| 蜜臀久久精品久久久久视频| 熟女这里只有精品6| 久久99久久99精品天美传媒棢·纸:. | 婷婷五月天色网| 屁股久久久久久久久| Aa东京男人的天堂| 欧美黄色图片| 99操逼| 青青草在线视频欧美| 五月丁香婷婷啪啪| 日本一级性爱| 亚洲91在线播放影院| 欧美综合91| 欧美啪啪天堂| 诱惑人妻欧美一区在线播放| 欧美黑人XXXⅩ高潮交| 国产三区免费在线观看| 欧美18 在线观看| 国产又粗又长视频| 99re这里只有精品2| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 久久久久久久伊人精品| 久久精品人妻一区| 天天操天天舔| 91欧| 久久黄人人爽视频| 精品亚洲| 超碰免费人妻人人| 久久久久久9| 人人九九精| 狠狠躁天天躁日日躁97| 蜜桃臀久久| 国产极品久久久| 欧美亚洲国产自久久| 精品午夜福利| 俞拍久久国应视频| 屁股久久久久久久久久| 成人毛片免费| 欧美18老人禁| 欧美日韩国产中文精品字幕自在自线| 一级啊性爱在线视频| 色噜噜精品一区二区三| 久久xxxx| 欧美亚洲激情小说| 婷婷中文字幕| 亚州操逼网| 免费啪啪啪网站18岁| 九色视频91| 啊灬啊灬啊灬好深灬快高潮了动漫-国产字幕国产在线观看-B049AV | 亚洲天天做日日做天天谢日日| 一级乱伦网站| 精品乱子一区二区三区99| 国产suv精品一区二区四区999| 97网址www| 亚洲欧美综合色| 中日无幕一二三四区| 97色色色| 欧美色图中文字幕| 中文字幕久久亚州无码| 亚洲少妇视频| 久久国产逼| 韩三级a视频在线观看 | 75大香蕉| 久久天堂网| 人人九九精| 人妻在线大香蕉| 精品久久久久9999| 久久中久文96| 视频不卡中文字幕| 亚洲一卡2卡3卡4卡乱码网站| 你懂得91| 亚洲色图 欧美热图 清纯唯美 另类自拍 | 久热久一区二区三区| 日本一区视频在线观看| 99热超碰| 男人天堂 天天射| 91精品丝袜在线观看| 狠狠色色| 日韩 欧美 校园一区| 精品久久久一本一道| 国产精品福利视频| 日韩欧美tv一区二区在线观看| 欧美激情精品| 天天色天天干天天射| 亚洲欧美激情在线视频| 丝袜内射| 欧美韩日精品资源| 91超碰丝袜制服| 人妻另类 专区 欧美 制服| 天堂伊人久久| 色九九综合AV| 色在线综合| 久久精品国产97欧美精品亚洲| 色五月激情AV在线| 国产97亚洲| 人妻精品一区二区| 欧美日韩91| 8x福利精品第一福利视频导航| 老鸭窝在线视频播放| 日韩免费三级黄片电影| 五月激情综合网| 日韩pv中文| 欧美91网站| 黑人无码一区二区| www狠狠| 午夜欧美J进J出白浆流出久久久| 91天美免费| 蜜臀无码视频在线观看| 无码操逼网| 亚洲。日韩。欧美| 欧美色九九| 艹比视频国产精品| 九九成人精品| 男女啊啊啊| 中文字幕日韩人妻视频一区二区三区 | 日日嗷| 国产亚洲精品无码三区| 国产蜜臀精品一区免费尤物| 亚洲图片小说欧洲| 五月婷婷啪啪| 99超碰网| 91色久| 亚洲AV在线资源| 成年女人黄网站| 亚洲 欧美 小说| 99婷婷一区二区| 国内91熟女人妻丝袜天天精品视频在线| 人妻酒店出差被中出免费在线播放| 丰满人妻-区二区三区| 亚洲阿v天堂无码z2018| 一区麻豆 高清中文字幕| 亚洲成人AB| 性爱av在线免费观看| 九九九九97| av在线一区二区三区| 俺去久久| 国产丝袜美女在线一区| 欧美A√综合网| 精品无码一区二区三区| 26uuu国产| 91色情黑丝搞鸡在线观看一区二区三区三州| 黄色高清久久无码依人| 操曰本熟女| 安微少妇操BBB| 麻豆AV短剧| 欧美色图片色哟哟| 91亚洲黑人| 91综合站| 一级黄碟在线看| 国产精品永久免费10000| 日韩久久艹| 亚洲一区二区中文字幕| 五月丁香久久| 亚洲色图 91| 国产区性爱在线视频秋霞豆 | 自拍偷拍 高清无码| 天天综合网1| 成人a级高清视频在线观看| 亚洲情色在线| 7777欧美成是人在线观看| 5252色欧美在线男人的天堂| 色哟哟国产精品免费网址| 啊啊啊在线观看免费视频| 国产精品毛片?v一区二区三区| 裸体美女久久久| 日本成人A片免费看| 九九九影院| 九九综合久久| 人妻激情视频| 国产精品肉丝自拍| 一区二区三区 日韩欧美| 友优传媒精品在线一区二区| 久久国99999| 色牛牛AV| 嫩呦国产一区二区三区AV| 四虎影视永久在线观看精品免费网站| 天天欧美欧美亚洲网| 欧美Aⅴ| 夜夜嗨免费视频| 红杏大香蕉| 中国一级操逼视频| 日韩精品 欧美激情| 美女的肌被草喷水视频| 99久久综合网| av中亚| 9997se| 久久内射| 久草在| 一本一道人妻久久一区二区三区| 93人人操人人| 国产日韩无码一区二区三区久久区| 蜜桃精品视频一区二区三区| 抽插爽| 91操操| 日逼国产| 国产亚洲精品精AV.| 97色欧州| 欧美在线官网| 国产亚洲色婷婷久久99精品91葵花宝典 | 九久久精| 亚洲欧美校园| 91少妇香蕉久久精品| 午夜福利成人免费视频| 日本性爱不卡视频| 成人乱人伦一区二区| 97干97色| 欧美综合第一页| 91超碰丝袜制服| 久久久久78| 国产久久日韩网站导航| 色香网| 60秒免费小视频| 夜夜操天天肏| 国产欧美日韩在线观看麻豆传媒公司| 91粉嫩萝控精品福利网站_精品影音先锋国 | 亚洲国产剧情少妇激情| 亚洲日韩肥臀视频在线观看| 伊人色综合网电影| 亚洲欧美国产成人综合不卡| 国产探花精品在线| 国产精品国产自产高清AV| 97色碰| 欧美国产婷婷久久| 性综合网| 男女啊啊啊啊啊| 精品久久久不卡一区二区| 安徽熟妇视频| 亚洲一区二区专区-国产丝袜精品丝袜-成人AV | 安徽熟妇视频| 日韩人妻制服丝袜av| 一本色道久久天天射天天干| 中文字幕在线免费观看2| 日本熟妇精品九九| 精品无人区麻豆乱码久久久| 久操高青| 婷婷色网| 曰韩香蕉97| 久久一区无码| 高清国产无码av| 国产精品久久久无码aV去| 美国黄片aaa| 少妇人妻好深太紧了vr91| 国产成人无码啪| 亚欧日韩成人| 性爱av网站| 色情综合网| 久久久久日本视| 老师充足的奶水小说| 99色日| 裸模AV女优| yy少妇精品久久| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 欧美激情亚洲色图| 97亚洲性爱| 日韩av色图综合| 天美一区在线| 国产中文字幕曰本毛片| 中文字幕日本久久| 99久久网站| 91扒丝袜综合在线| 欧洲精品久久| 97这里有精品| 伊人一区二区在线播放| 国产精品久久久无码aV去| 亚洲中文国际强奸字幕| 99热久| 久艹伊人精品综合在线| 国产精品久久久久久久久久二区三区| 韩国毛片一区二区三区| 97超碰伊人| 操逼网站网站| 蜜乳AV色欲AVAV无码| 强奸少妇AV导航网| 精品二区三四区五电影| 搡老熟女免费视频| 欧美日韩岛国大片在线观看| 精品福利视频| 一本大道久| 精品人妻一区二区三区日产乱码| 日韩乱伦影音先锋| ,国产乱人伦精品一区二区三区| 亚洲精品一卡二卡三卡福利视频网站| 国产嫩草精品A88AV| 美女操逼A A| 超碰99在线观看| 蜜桃成人1区2区3区| 玖玖爱免费观看视频| 国产女人高潮视频| 亚洲 图片 欧美 色图| 亚洲高清少妇| 中文字幕日韩专区精品系列| 99∨VTV| 国产第11页| 欧美日韩1234| 九九人人操| 日韩综合97P| 乱伦日本中文自拍| 看日韩美女二区三区免费操逼视频 | 超碰欧美在线欧美| 综合伊人网12色| 欧美99热| 综合情欲网| 亚洲性爱电影| 亚洲av总站| 午夜毛片亚洲精品片国产久久久| 色噜噜精品一区二区三| 99只有精品| 精品人妻av区天天看片| av九九| 亚洲网自拍| 3PAV乱伦视频| 亚洲无码99| 精品大全99999| 尤物国产一区在线观看| 青青草狠狠撸| 很黄很色的视频在线观看| 先锋精品av色鲁| 九月婷婷| 精品黄色电影| 国产日本熟女顶级一区二区三区视频 | AV老汉| 一起草高清无码| 日韩人妻操B| 97综合在线| 久操热线| 99re在线视频| 欧美成人午夜免费福利785| 亚洲欧美爆| 岛国黄片网站| 国产精品久久久777| 久久日韩精品一区二区| 99操视频| 亚洲欧美碰碰| 精品无码久久久| 明星性猛交ⅹxxx乱大交| 亚洲色性情三级| 伊人丁香五月婷婷| 人人搡人人肉久久精品| 操高情无码| 丝袜翘臀后入欧美校园亚洲自拍另类小说一区中文字幕少妇诱惑 | 日人妻视频91| 色999五月色| 超碰偷拍| 午夜色婷婷| av天堂电影网| 超碰九区| 国产性感骚丝袜在线| 日本一区二区三区午夜观看| 九九九精品一区二区无码| 日本色色的视频| 久久久久久久久久久久黄色| 美女操逼A A| 中文字幕久久亚州无码| www.伪伪| 久久激情视频| 婷婷五月av| 国产日韩怡红院| 久草资源在线视频官方总站日韩丝袜美腿| 97免费在线观看| 久久国产三区| 国产精品久久99日日| A男人的天堂| 色九九综合| 999久久久国产精品| 蜜臀精品1区2区| 最新中文字幕精品在线| 色婷婷一区二区三区久久| 97日视频| 夜夜爽爽爽| 手机看片91人妻| 色偷综合| 久久一二区四| 日韩欧美经典在线观看| 四方色播| 免费97视频| 亚洲AV永久无码一区仙野| 网友自拍第1页| 久久亚洲色图中文字幕| 成人午夜视频免费播放| 亚洲男人的天堂V| 久久精品国产亚洲AV无码电影| 香蕉免费一区二区三区不读| 爱爱动态120秒| 亚洲中文国际强奸字幕| 美女十八禁| 亚洲欧洲久久天堂| 亚州操操穴网| 欧洲熟妇xxXx欧美老妇裸体| 91熟女网| 超碰9 7女人 | 日韩无码黄色片| 成人性交免费视屏| 男女性扦B| 九九成人精品| 2020视频1区2区3区| 无码人妻精品一区二区中文| 国产精品ww久久| 天天舔日美女视频| 五月天加勒比啪| 9 7超碰在线免费观看| 日本在线一二| 啊啊啊啊啊在线视频| 成人综合网 欧美| 中文字幕av亚洲在线| 免费网色网站| 欧洲在线性爱视频| 亚洲成人妻日韩在线| 激情综合二| av绯色| 亚洲欧洲中文日韩女优乱码| 婷婷亚洲综合| 极品粉嫩一区二区| 18精品一二区| 日韩精品一区二区三区色欲| 欧美熟妇视频| 一二视频神马久久传媒| 亚洲综合九| 国产精品无码论坛| 久操操AV电影| 秋霞免费AV| 国产AV毛片| 亚洲精品日日夜夜52| 风韵犹存大大大大香蕉 | 午夜精品99久久久久传媒| 国产日韩欧美三级片| 国产九九九九九九九九| 首页中文字幕中文字幕免费| www.91理论| 韩国黄片aaaa| 精品无码不卡视频| 国产高清26uuu| 久久双插| 亚洲欧洲综合成人av一区| 国产精品蜜臀久久久久无码AV| 91大神精品长腿在线观看网站| 亚洲日韩av专区无码| 日本最新1区2区3区| 另类专区加勒比| 日韩精品免费高清视频在线| 日婷婷| 麻豆视频国产一区二区| www.伪伪| 国产超碰| 人人操人人摸人人看人人干| 插穴性爱视频在线观看| 睡产熟女乱伦| 97精品国产97久久久久久| 天天操天天射青青草| 久久熟妇五十路一区| av一区二区三区四区五区久草臀| 中文字幕一区二区三四五区日日骚| 330Dv国产女人终合视频极品人与兽 | 天天综合网在线91| 日本精品五区| 国产毛片久久久久久久| 伊人久久大香大香线蕉中文| 色五月激情网| 欧美色图片91| 日韩欧美中文字亚洲慕| 91精品人| 一个人免费HD91视频| 亚洲另类在线观看| 亚州久久9| 亚洲美腿丝袜香蕉影视欧美成人| 青青色在线观看| 男人天堂2017| 高清无码 国产精品| 福利操逼| 久久国产视频性吧 | 免费啪啪av| 一区三区啪啪| 97色爱| 亚洲第一男人天堂| 精品欧美不卡在线播放| 久久大黄片| 91在线精品| 欧美在线视频99| 色噜噜综合在线| 国产性爱欧美性爱在线| 久久久久九九九九九| 成人五月天丁香激情综合| 殴美在线AⅤ| 骚乳在线| 国产又粗又长视频| 亚洲暴力强奸AV| 厕所偷拍在线| 精品人妻久久久| 琪琪精品免费一区二区三区 | 欧美姓爱综合网| 国产高清26uuu| 久草五月| 青青草伊人久久| 欧美高清第一页| 国产精品香蕉热久久新品| 色老汉色| 青青在线视频日韩欧美| 国产人伦a片信息免费片| 天天操女人| 91美| 激情无码日韩| 久久超碰免费的| 国产精品白丝| 成人欧美一区二区三区黑人一| 中文字幕久久亚州无码| AⅤ片水多多| 青青草天天亲夜夜操网| 日韩精品大香蕉伊人在线| 无码一区免费在线不卡| 色蜜AV| 国产视频小说| 国产精品久久久久无码A√| 麻豆人妻精品一区二区| 自拍视频大全亚洲专媒视频/一区二区三区| 亚洲码和欧洲精品激情系列| 蜜桃臀一区二区三区久久| 91碰超| 岛国人妻少妇av在线观看| 久久夜夜| 超碰碰碰碰| 精品久久9| 操逼操逼操| 色女女女导航| 精品国产乱码久久久A| 91久久久久久| 亚洲少妇自拍中文字幕懂色| 欧美性爱伊人| 亚洲春色欧美| 99视频自拍| 97在线视频免费看| 俺去也婷婷| 97在线免费看视频| 超碰91在线| 亚洲情色 自拍| 一级做a爰片性色毛片久久| 日韩紧密久久| 日韩欧美午夜一区二区| 欧洲综合视频| 操b在线观看| 二级久久网| 无码人妻精品酒店| 亚洲欧美九九九| 88在线一区二区三区| AA丁香综合激情| 97在线免费观看| 国产精品网站www| 青青久久手机线视频| 色欧美综合| 少妇六月天| 91在线超高颜值国产| 日韩 女同 综合| 亚洲九区| 国产强奸乱伦无码视频| 操人妻逼91| 国产麻豆福利av在线播放| 五月婷婷青青草娱乐伊人| 婷婷伊人綜合中文字幕小说| 欧美色图色综合| 亚洲黄日韩无码专区| 午夜AV人气不卡| 91天天综合在线观看| 无码聚合| 加勒比伊人| 97AV在线免费观看| 亚洲欧洲另类| 美女熟妇色| 欧美成人精品一区二区男人蜜臀| 91操人| 天天在线91| 青青草原人妻| 中文字幕亚洲永久精品| 欧成人在线| 69精品在线| 91久久精品中文字幕| 久久久91| 久久国产视频性吧 | 秋霞男人网| 综合激情五月天| 亚洲国产成人7777| 老司机午夜福利视频一区二区| 国产福利精品最新在线| 黄色AV免费| 啊啊啊水好多| 麻豆成人av| 黄色网址久久精品欧美喷水| 国产传媒操逼视频| 中文视频在线观看| 欧美日韩美女精品久草一区二区三区| 男人的天堂2019AV| 日韩A优精品在线观看| 99无码| 欧美综合在线第一页| 丁香六月啪啪| 操B在线观看| 欧洲特黄毛片免费看欧洲毛片| 97 超碰 人人做 人人爱| 免费综合亚洲中文| 日韩三A大片在线观看| 人妻丝袜日本| 久久精品国产97欧美精品亚洲| 欧美色66| 凹凸视频特色日本特黄| 人人摸.人人色| av草草在线电影| 亚洲中文字幕网| 久久久四区| 欧美综合综合| 亚洲成人碰碰| 亚洲九区| 美国精品国产精品| 欧美日韩国产成人高清| 特污精品女优骚货黄色视频在线免费观看| 欧美性天天影院| 国产精品。| 欧美男人一区| 三级日本一区二区三区| 性爱AV天堂| 欧美久久草熟女| 亚洲国产成人福利在线观看| 日日操免费视频| 日韩三级伊人| 亚洲素人综合| 久久天堂网| 中文字幕伊人| 国产污视频麻豆传媒一区二区 | 天天草夜夜草高潮片| 丁香五月天婷婷姐| 啊啊啊啊嗯嗯嗯用力好爽 | 欧美在线官网| 天天插天天操| 国产麻豆一级精品视频| 日本高清有码网址视频| 国产综合永久精品日韩鬼片| 国产精品自拍xxxx| 国产成年免费大片黄在线观看| 久久黄片国产一区二区| 亚洲男人久久综合天堂| 日本1区2区不卡视频| 国产性爱强奸乱伦大全| 立川理惠被中出无码| 婷婷操视频| 青青草在线视频播放器| 九九九999久久久网站| 大香蕉视频啪啪啪啪| 91肉丝| 综合欧美亚洲| 国产精品乱码久久久久久久久| 亚洲天天天| 青娱乐黄色录像| 性色aV一区二区三区噜噜| 97干在线| 久久精品国产亚洲妲己影视| 久久久久免费看少妇A片特黄| 久久av一级av少妇av高潮| 精品国产肉丝袜在线拍国语| 黑人无码一区二区| 国产精品三级视频网站| 午夜天堂精品久久久久91| 日韩一级二级在线| 欧美97视频| 一级免费精品| 中字一区| 亚洲小说视频| 人妻色偷色噜| 色嗨嗨在线| 国产无套粉嫩白浆在| 91黑丝在线播放| 人妻精品一区二区全免费| 9997se| 美女91| 久久精品中文字幕观看| 亚洲中文一区二区三区视频| 99色热| 校园春色综合色| 精品白丝一区| 欧美特黄视频网站| 中文字幕一区二区视频在线观看| 99re这里只有| 久久伊人亚洲AV无码网站 | 亚洲少妇在线影音| 欧美色图99| 偷拍偷窥与盗摄视频专区| 国语国产操逼伊人AV网| 床上啊啊啊一区二区三区| 九九热这里只有在线精品视 伊人草 成人菠萝蜜视频在线观看 | av毛片aaaaa免费看| 尤物一级在线免费观看| 动漫片子网站3黄| 精品一二三区四视频| 丁香九月婷婷| 极品尤物女神在线观看| 图片区小说区| 91视频成人福利网站在线一区| 91亚.色| 日本人妻伦在线中文字幕| www.av家庭乱伦| 中文久久爆乳| 抽插爽| chaopen97久久| 欧美日韩性爱电影在线| 九九亚洲| 欧美变态激情网| 久久久96| 日本三级韩三级99久久| 九九玖玖精品| 欧美激情 亚洲色图| 99re公开精品免费视频| 九九精品热| 99在线啪| 国产又黄又粗的视频| 大胆91| 久久免费精品96| 人妻丰满熟妇av无码区蜜桃| 小日子操bb在线看| www鬼畜国产男人的天堂| 啊啊啊不要啊啊受不了了视频在线 | 九九综合九九综合| 亚洲中文字母在线播放| 97超碰亚洲| 国产99999久久精品| …亚洲黄色厕厕女女在线播…| www网站黄| 成人天天爽| 欧美一级在线观看成人| 思思热在线观看| 欧美情色贴图| 91成人高清在线观看| 99啪啪视频| 日韩BBN| 国产一级特黄大片处女| 日日AV加勒比| 人人性爱视频免费| 成人七区| 欧美 亚洲 另类 综合| 精品午夜福利| www.婷婷| 久热精品在线| 国产精品一区二区黄片| 97精品视频在线播放| 青娱乐福利99| 操人妻逼91| 狠狠97| av网页一区二区三区| 一区二区三区成人| 成全在线观看免费观看| 高清不卡视频| 中文字幕人妻资源在线| 亚洲综合激情五月久久| 女优大全 - 91n| 亚洲成人久久美女| 有码专区最新中文字幕有码| 久久av成人无码免费| av久日| 日本黄色大片一级视频免费麻豆| 天天干一干| 国产一区二区精品在线视频| 亚洲国产精品99久久久| 日韩情色AV| 精品一区二区成人| 亚洲男人天堂视频| 婷婷AV一区二区三区| 亚洲色性| 日本久久久久久久久| 国产福利一区二| 欧美暴力猛交| a级理论午夜日本| 99热这里都是精品| 国产不卡精品91| 99婷婷一区二区| 日韩美女高潮喷水视频| 日韩在线观看字幕精品| 暴力av在线| www.色婷婷.com| 日本成a人v网站在线观看| 婷婷五月天无码| 日韩AV熟女乱伦| 亚洲一区二区三区婷婷| 蜜桃久久综合视频| ,成人免费啪啪视频| 99精品综合久久久久五月天| 黄污污污污| 9丨亚洲一区二区在线| 91亚洲狠狠色| 国产亚洲一黄| 精品成人无码| 久久东京热成人| 精品乱码久久久久| 色婷婷亚洲婷婷| 国内精品嫩模A∨私拍小视频| 婷婷综合在线观看| 自拍偷拍 日韩无码| 精品人妻一区二区三区在线视频不卡| 亚洲欲色9532548967一区| 中国少妇XXXX做受| 欧美性性性| 红桃视频高潮| 91free福利| 人妻丝袜美腿中文字幕| 天堂精品小草| 高清国产av无码| 色路综合| 久久综合18p| 男女激烈网站最新| 91AV国产精品| 啊啊啊啊啊啊啊好爽不要| 中日韩欧美精品无码AⅤ一区二区| 久久久久久久久9| 日本天天干天天搞一区| 久久精品色欧美aⅴ一区二区| 成人性爱免费播放| 色噜噜国产精品视频一区二区| 91精品婷婷国产综合久久竹菊| 国产成人网| 可以在线观看AV的网站| 国产乱伦视频污| 女同在线视频一区| 偷窥自拍A片| 国产不良强奸视频免费看| 蜜桃狠狠色伊人亚洲综合 | 日日操夜夜操天天操免费观看麻豆| 亚州熟妇精品| 成年男人的天堂| WWW黄片COM| 人妻 中文 日韩| 成人无遮挡毛片免费看| 清纯唯美综合亚洲| 欧美激情久久久久| 国厂麻豆77q4| 涩五月婷婷| www黄片免费看com| 久久久久久9| 草草草视频| 91操熟女视频 | 97天天综合| 开心激情站| 国产视频不卡在线观看| 亚洲无无码αⅴ每日更新| 四虎国产精品永久在线囯在线 | 亚洲欧美在线综合| 亚洲一区二区专区-国产丝袜精品丝袜-成人AV| 久久啊哟| av毛片aaaaa免费看| 亚洲成成熟女人综合一区二区| 俞拍自拍| 日日骚精品视频| 九九九九九九九九九五码| 嗯嗯啊操我| 夜夜夜久久| 九久9热| 麻豆亚洲Av成人无码一区精品| 久久久久久久人妻| 天天干天天干天天| 97chaopengongkai| 综合情欲网| 97操综合| 91在线/欧洲| 四虎在线免费视频| 久湿久久| 欧美日韩精品久久久久东北老熟妇| 91丝袜美女| 欧美日韩大陆黑人少妇99| 97人人模人人爽人人| · —级AA伦aa坐爱午夜极速ⅴA一区天天噪天天噪天天噪 | 首页亚洲国产高跟丝袜诱惑视频 | 麻豆久久视频在线地址| 国产传媒操逼视频| 国产操操日韩三级黄| 国产久久av| 操逼天美3区| 丁香色狠狠色综合久久小说| 色999;丁香五月| 国产欧美日本亚洲精品| 超碰97人妻免费在线| 国产美女口爆吞精视频| 超碰97久久| 久久亚洲欧美中文字幕国语 | 91n美女视频| 97这里只精品| 日本道日本道中文字幕日本道最新日本道在线观看 | 亚洲综合贴图91 | 噜噜噜噜久久久精品免费| 精品人妻av区天天看片| 日语五十路和六十路亚洲国产精品| 超碰成人人人爽人人爽| 亚洲一区日韩精品| 26uuu欧美日韩| 日本网色| 嗯嗯嗯嗯啊啊啊好紧好大| 精品然女一区二区| 97 视频在线|