日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

AI芯片架構(gòu)深度解析:從計(jì)算陣列到存儲(chǔ)墻的權(quán)衡之道

AI芯片架構(gòu)深度解析:從計(jì)算陣列到存儲(chǔ)墻的權(quán)衡之道 1. 從算力饑渴到專(zhuān)用計(jì)算AI芯片這十年的三條岔路過(guò)去十年AI圈子里有個(gè)很有趣的“剪刀差”做算法的同學(xué)每年都在抱怨模型越來(lái)越大、訓(xùn)練越來(lái)越慢而做硬件的同學(xué)則在拼命堆晶體管、提頻率。兩邊都很努力但總感覺(jué)隔著一條河。直到我真正跳進(jìn)AI芯片這個(gè)坑才明白問(wèn)題不在“算力不夠”而在“算力用不對(duì)地方”。2012年AlexNet在GPU上跑出驚人效果之后行業(yè)其實(shí)面臨一個(gè)岔路口。第一條路是把GPU這條通用并行計(jì)算路線做到極致靠CUDA生態(tài)和Tensor Core持續(xù)迭代第二條路是走FPGA用可重構(gòu)邏輯去適配快速變化的算法第三條路則是押注ASIC直接為神經(jīng)網(wǎng)絡(luò)“刻”一塊專(zhuān)用硅片。當(dāng)時(shí)誰(shuí)也不敢說(shuō)哪條路一定贏但十年后回頭看三條路都活了下來(lái)只是各自找到了完全不同的生存空間。這背后的邏輯并不復(fù)雜。AI計(jì)算和傳統(tǒng)計(jì)算最大的區(qū)別在于傳統(tǒng)計(jì)算是“控制密集”比如操作系統(tǒng)、數(shù)據(jù)庫(kù)這類(lèi)負(fù)載大量的時(shí)間花在分支判斷、地址跳轉(zhuǎn)、中斷處理上需要的是強(qiáng)大的控制邏輯和通用性而AI計(jì)算是“數(shù)據(jù)密集”卷積、矩陣乘、激活函數(shù)、歸一化這些操作結(jié)構(gòu)高度規(guī)整數(shù)據(jù)可以流水線式地灌進(jìn)去幾乎不需要復(fù)雜的控制流。一旦負(fù)載形態(tài)變成了這樣通用CPU那種“每一條指令都要先取指、解碼、再執(zhí)行”的流水線方式就顯得笨重了——大量晶體管和功耗都消耗在“準(zhǔn)備執(zhí)行”這個(gè)過(guò)程里而不是真正“執(zhí)行”上。所以AI芯片架構(gòu)設(shè)計(jì)的核心命題從第一天起就不是“怎么把芯片做快”而是“怎么把晶體管花在刀刃上”。這個(gè)“刀刃”就是計(jì)算單元本身。圍繞這個(gè)命題不同團(tuán)隊(duì)給出了截然不同的答案。本文不打算寫(xiě)成教科書(shū)式的綜述只是想把我在實(shí)際接觸和評(píng)估各種AI芯片架構(gòu)時(shí)看到的門(mén)道、走過(guò)的彎路、以及那些在PPT上看不到的真實(shí)權(quán)衡系統(tǒng)地?cái)傞_(kāi)來(lái)聊一聊。適合正在做AI基礎(chǔ)設(shè)施選型、做算法工程化落地、或者想從軟件側(cè)理解硬件邏輯的讀者。2. 計(jì)算陣列、存儲(chǔ)墻與片上互聯(lián)拆開(kāi)一塊AI芯片的三個(gè)橫截面拿到任何一款A(yù)I芯片的架構(gòu)圖無(wú)論是NVIDIA的Hopper、Google的TPU還是國(guó)內(nèi)廠商的各類(lèi)NPU第一眼看上去都會(huì)覺(jué)得眼花繚亂。但如果拆開(kāi)看其實(shí)所有AI芯片都在回答同一個(gè)問(wèn)題的三個(gè)子問(wèn)題計(jì)算怎么做、數(shù)據(jù)怎么喂、數(shù)據(jù)怎么搬。2.1 計(jì)算陣列從二維到三維的MAC組織方式計(jì)算單元是AI芯片的心臟而心臟的基本跳動(dòng)單元叫MAC也就是乘累加操作。一次MAC做的事情很簡(jiǎn)單兩個(gè)數(shù)相乘再加到累加器上。但神經(jīng)網(wǎng)絡(luò)里的矩陣乘法動(dòng)輒上百億次MAC怎么把這些MAC組織起來(lái)直接決定了芯片的面積效率、功耗效率和時(shí)鐘頻率。主流的組織方式有三種。第一種是二維脈動(dòng)陣列TPU是典型代表。數(shù)據(jù)像波浪一樣在二維陣列里“流動(dòng)”每個(gè)計(jì)算單元只和相鄰單元通信不需要全局廣播。這種做法的好處是數(shù)據(jù)復(fù)用率極高、布線短、功耗低壞處是陣列利用率受矩陣形狀影響很大——如果矩陣維度和陣列尺寸不匹配會(huì)有大量計(jì)算單元空轉(zhuǎn)。第二種是SIMD風(fēng)格的寬向量單元GPU的Tensor Core和我見(jiàn)過(guò)的一些NPU都走這條路。數(shù)據(jù)被切成固定寬度的向量比如16x16、32x32的tile一條指令驅(qū)動(dòng)整個(gè)陣列同步執(zhí)行。這種設(shè)計(jì)對(duì)編譯器非常友好利用率容易做高但對(duì)數(shù)據(jù)在片上存儲(chǔ)器的布局要求苛刻排不好就會(huì)出現(xiàn)大量bank沖突。第三種是近兩年開(kāi)始流行的一些分布式/可重構(gòu)陣列計(jì)算單元之間通過(guò)片上網(wǎng)絡(luò)動(dòng)態(tài)連接理論上可以靈活映射任意結(jié)構(gòu)的計(jì)算圖實(shí)際落地難度確實(shí)也比較大。我在實(shí)際評(píng)估芯片時(shí)很少只看峰值算力更關(guān)心“有效算力密度”——也就是在給定芯片面積和功耗下持續(xù)跑到70%以上利用率的算力是多少。這個(gè)指標(biāo)才真實(shí)反映MAC組織方式的優(yōu)劣。2.2 存儲(chǔ)層級(jí)為什么說(shuō)“存儲(chǔ)墻”是AI芯片的第一瓶頸很多芯片的Datasheet上寫(xiě)著幾十甚至上百TOPS的算力跑個(gè)小模型也確實(shí)能跑到接近理論峰值。但一上真實(shí)模型性能直接腰斬甚至膝斬。絕大多數(shù)情況下問(wèn)題不是出在計(jì)算單元上而是出在存儲(chǔ)上。AI芯片的存儲(chǔ)層級(jí)大致分四層HBM或者LPDDR這樣的片外DRAM、片上SRAM有些廠商叫Shared Memory、有些叫Buffer、寄存器堆、以及計(jì)算單元內(nèi)部的累加器/暫存器。帶寬從上到下是數(shù)量級(jí)的提升容量則是數(shù)量級(jí)的下降。真實(shí)計(jì)算中要跑一個(gè)矩陣乘你得先把A矩陣的塊和B矩陣的塊從DRAM搬到SRAM算完之后把結(jié)果C搬回去然后再搬下一塊。如果搬數(shù)據(jù)的時(shí)間比計(jì)算時(shí)間還長(zhǎng)計(jì)算單元就只能閑著等數(shù)據(jù)。這就是“存儲(chǔ)墻”的本質(zhì)算力漲得比存儲(chǔ)帶寬快得多導(dǎo)致喂數(shù)據(jù)的速度跟不上消耗數(shù)據(jù)的速度。解決思路無(wú)外乎三條路一是把數(shù)據(jù)盡量留在片上通過(guò)tiling切分讓數(shù)據(jù)反復(fù)復(fù)用典型如CUTLASS、triton這類(lèi)庫(kù)在做的事二是設(shè)計(jì)更大的片上SRAM比如有些芯片把SRAM做到幾十兆甚至上百兆目的就是能放下更大的tile三是做近存計(jì)算或存內(nèi)計(jì)算把計(jì)算邏輯直接懟到存儲(chǔ)單元旁邊甚至里面這是架構(gòu)層面的終極解法后面會(huì)專(zhuān)門(mén)講。從軟件側(cè)來(lái)看存儲(chǔ)層級(jí)設(shè)計(jì)直接決定了算子的實(shí)現(xiàn)策略。同樣一個(gè)卷積在A芯片上要分成四段來(lái)搬數(shù)據(jù)在B芯片上也許一次就能裝下整張feature map。編程模型再抽象最終都是要映射到物理的存儲(chǔ)層級(jí)上的。所以評(píng)估一款A(yù)I芯片我一定先要拿到它片上SRAM的容量和帶寬數(shù)據(jù)再去看峰值算力——順序不能反。2.3 片上互聯(lián)多核架構(gòu)最容易忽略的暗坑現(xiàn)在的AI芯片沒(méi)有單核打天下的。即便單die內(nèi)部也會(huì)拆分成多個(gè)計(jì)算核比如NVIDIA的SM、Habana的TPC、各家NPU的NPU Core多核之間怎么通信是芯片能不能“人多吃上飯”的分水嶺。ARM架構(gòu)的SoC一般用AMBA總線簡(jiǎn)單直接適合小規(guī)?;ヂ?lián)。AI芯片上常見(jiàn)的互聯(lián)方式有三種網(wǎng)格片上網(wǎng)絡(luò)、環(huán)形總線、以及高帶寬的crossbar。網(wǎng)格片上網(wǎng)絡(luò)代表是某些云端AI芯片的優(yōu)點(diǎn)是可擴(kuò)展性好核多了也能掛得住代價(jià)是通信延遲不可控?cái)?shù)據(jù)從一個(gè)核到另一個(gè)核要跳很多跳編譯器必須做精確的通信編排否則性能穩(wěn)定性很難保證。環(huán)形總線NVIDIA GPU的NVLink片上版本可以近似這么理解還有不少ASIC沿用實(shí)現(xiàn)簡(jiǎn)單廣播效率高但環(huán)一旦做大了單跳帶寬和整體延遲會(huì)惡化。Crossbar是最奢侈的方案任意核到任意核都是直達(dá)延遲低、編程簡(jiǎn)單但面積和布線開(kāi)銷(xiāo)隨著核數(shù)平方級(jí)上漲超過(guò)一定規(guī)模就完全不經(jīng)濟(jì)了。我見(jiàn)過(guò)不少項(xiàng)目在選型時(shí)只看每個(gè)核的算力忽略了核間通信能力。結(jié)果就是單核跑一個(gè)算子很快但一旦模型是并行度要求高的結(jié)構(gòu)通信帶寬就成了瓶頸。這個(gè)坑在2D卷積這類(lèi)本來(lái)就有空間局部性的算子里不太明顯但在Transformer的注意力計(jì)算里會(huì)非常顯著——因?yàn)镼、K、V矩陣要頻繁做跨頭的拼接和切分片上數(shù)據(jù)搬運(yùn)量極大。3. 指令集架構(gòu)上行那些繞不開(kāi)的SIMD、VLIW與可重構(gòu)軟件開(kāi)發(fā)者說(shuō)“架構(gòu)”腦子里浮現(xiàn)的往往是操作系統(tǒng)的分層、微服務(wù)怎么拆、前后端怎么通信。但芯片領(lǐng)域的“架構(gòu)”最初的落腳點(diǎn)是指令集架構(gòu)——也就是軟件和硬件之間的那條合同。AI芯片的指令集設(shè)計(jì)其實(shí)暴露了芯片公司對(duì)“軟件棧應(yīng)該長(zhǎng)什么樣”的基本立場(chǎng)。3.1 SIMD與向量化GPU走通的那條康莊大道SIMD不是新概念上世紀(jì)六十年代就有向量機(jī)的雛形但把它在AI時(shí)代發(fā)揚(yáng)光大的是GPU。GPU的哲學(xué)是“大量簡(jiǎn)單計(jì)算單元聽(tīng)同一個(gè)指揮做同樣的事”。每個(gè)線程執(zhí)行同一條指令但操作不同的數(shù)據(jù)。這個(gè)模式下編譯器或者程序員要操心的問(wèn)題只有一個(gè)把數(shù)據(jù)打包成合適的向量寬度確保所有線程都在工作。放到AI芯片的語(yǔ)境下SIMD風(fēng)格最典型的代表就是Tensor Core和各類(lèi)NPU的MAC陣列指令。比如英偉達(dá)的wmma或者mma指令一次可以算一個(gè)16x16x16的矩陣乘。如果你寫(xiě)CUDA寫(xiě)過(guò)這種指令你一定會(huì)感覺(jué)到它本質(zhì)上是在“教”硬件怎么切分矩陣、怎么排列數(shù)據(jù)。這種模式的優(yōu)點(diǎn)是想清楚之后效率可以做到極高缺點(diǎn)則是軟件棧的復(fù)雜度被轉(zhuǎn)移給了開(kāi)發(fā)者——如何把一個(gè)大矩陣乘拆成無(wú)數(shù)個(gè)tile并且保證每個(gè)tile的加載和計(jì)算重疊得嚴(yán)絲合縫這不是一個(gè)輕松的活。3.2 VLIW的誘惑與陷阱編譯器把命脈握在自己手里的野心VLIW和SIMD容易混淆但思路完全不同。SIMD是“一條指令操作很多數(shù)據(jù)”VLIW是“一條指令里有好幾個(gè)操作并行發(fā)射到不同功能單元”。VLIW把亂序執(zhí)行、動(dòng)態(tài)調(diào)度這些讓CPU頭疼的硬件邏輯全部搬到了編譯期。編譯器靜態(tài)分析代碼把能并行的操作打包成一條很長(zhǎng)的指令硬件只需要無(wú)腦執(zhí)行。這套哲學(xué)在DSP領(lǐng)域統(tǒng)治了很久在AI芯片領(lǐng)域也曾被寄予厚望。誘惑在于它省掉了大量亂序執(zhí)行的硬件面積和功耗都能降下來(lái)對(duì)追求極致能效比的推理芯片非常有吸引力。陷阱則在于編譯器需要完美預(yù)測(cè)運(yùn)行時(shí)的情況一旦遇到緩存未命中、分支跳轉(zhuǎn)這類(lèi)不確定事件指令流水線就會(huì)氣泡叢生性能大幅回退。AI計(jì)算里最典型的就是動(dòng)態(tài)shape——序列長(zhǎng)度不是固定的導(dǎo)致循環(huán)次數(shù)、內(nèi)存訪問(wèn)模式全部動(dòng)態(tài)化。VLIW編譯器的靜態(tài)分析在這類(lèi)場(chǎng)景下非常痛苦。我實(shí)際接觸過(guò)的態(tài)度是純VLIW適合算法高度固定的專(zhuān)用芯片比如某個(gè)特定檢測(cè)模型、某個(gè)固定尺寸的推薦模型。一旦要做多模型、動(dòng)態(tài)shape、復(fù)雜控制流的通用AI推理VLIW的優(yōu)勢(shì)會(huì)迅速被編譯器的力不從心吞噬。3.3 RISC-V對(duì)AI芯片的影響不只是“開(kāi)源”兩個(gè)字可以概括這幾年幾乎每個(gè)做AI芯片的創(chuàng)業(yè)公司都會(huì)在PPT里提一句“基于RISC-V”。但RISC-V對(duì)AI芯片的意義并不是“免費(fèi)用一個(gè)指令集”而是“可以干凈地?cái)U(kuò)展自定義指令”。傳統(tǒng)CPU有x86和ARM兩座大山指令集僵化想加一條AI加速指令需要走復(fù)雜的生態(tài)流程。RISC-V則劃出了一大片自定義指令空間芯片公司可以把自己的MAC操作、激活函數(shù)、甚至專(zhuān)用的數(shù)據(jù)搬運(yùn)指令直接做成ISA的一部分。這帶來(lái)的直接收益是編譯器、匯編器和調(diào)試工具可以無(wú)縫支持這些新增指令而不是靠“inline asm”或者“intrinsic函數(shù)”在標(biāo)準(zhǔn)ISA里打補(bǔ)丁。另外一個(gè)容易被忽視的點(diǎn)是RISC-V的向量擴(kuò)展讓AI芯片可以更優(yōu)雅地處理“非矩陣”計(jì)算。神經(jīng)網(wǎng)絡(luò)里除了矩陣乘還有大量element-wise操作比如LayerNorm里的均值方差、Softmax里的指數(shù)歸一化、注意力里的mask操作。這些操作用MAC陣列跑是殺雞用牛刀靠通用CPU核跑又太慢。RISC-V向量單元正好補(bǔ)上這個(gè)空白。所以你會(huì)看到很多AI芯片采用“通用RISC-V核專(zhuān)用NPU陣列”的異構(gòu)設(shè)計(jì)前者管控制流和element-wise后者管重計(jì)算各司其職。4. 從CNN到Transformer神經(jīng)網(wǎng)絡(luò)的演進(jìn)如何反向重塑芯片架構(gòu)AI芯片領(lǐng)域有個(gè)很有意思的現(xiàn)象大多數(shù)芯片架構(gòu)的生命周期比它要跑的模型的生命周期長(zhǎng)很多。一款芯片從設(shè)計(jì)到流片要兩三年而算法社區(qū)半年就能把主流模型換一遍。這意味著芯片架構(gòu)在定義的時(shí)候必須對(duì)“未來(lái)兩三年跑的模型”有足夠強(qiáng)的預(yù)判。4.1 傳統(tǒng)CNN邏輯架構(gòu)在芯片上的映射與優(yōu)化CNN時(shí)代的AI芯片設(shè)計(jì)是相對(duì)“安逸”的因?yàn)榫矸e的結(jié)構(gòu)非常規(guī)整一個(gè)卷積核在輸入特征圖上滑動(dòng)數(shù)據(jù)的空間局部性極好。芯片設(shè)計(jì)者不需要太多創(chuàng)新就能通過(guò)脈動(dòng)陣列、數(shù)據(jù)復(fù)用、行緩沖器這些經(jīng)典手段把卷積跑得很高效。但CNN內(nèi)部其實(shí)也已經(jīng)分化出不同的架構(gòu)流派。以YOLOv8為代表的目標(biāo)檢測(cè)網(wǎng)絡(luò)主干網(wǎng)絡(luò)是卷積、頸部是FPN/PANet做多尺度特征融合、頭部是解耦檢測(cè)頭。這類(lèi)結(jié)構(gòu)在芯片上的映射挑戰(zhàn)在于多尺度特征圖帶來(lái)的內(nèi)存訪問(wèn)不規(guī)律——不同層的特征圖尺寸不同數(shù)據(jù)布局差異大對(duì)存儲(chǔ)帶寬的消耗非?!八槠薄A硪活?lèi)是以MobileNet為代表的深度可分離卷積計(jì)算密度低內(nèi)存訪問(wèn)占比高對(duì)MAC陣列的壓力小但對(duì)片上存儲(chǔ)帶寬的壓力反而更大。所以在我做芯片評(píng)估的時(shí)候CNN時(shí)代有個(gè)經(jīng)驗(yàn)法則不要只看理論TOPS要看“有效內(nèi)存帶寬”。一個(gè)TOPS很高但內(nèi)存帶寬捉襟見(jiàn)肘的芯片跑MobileNet這類(lèi)輕量模型可能還不如一個(gè)TOPS稍低但帶寬充裕的芯片。這個(gè)經(jīng)驗(yàn)在Transformer時(shí)代更是被放大到極致。4.2 Transformer架構(gòu)及其工作原理帶來(lái)的三重計(jì)算特征Transformer架構(gòu)及其工作原理對(duì)芯片的沖擊是架構(gòu)層面的。第一重沖擊是注意力機(jī)制的內(nèi)存復(fù)雜度。Q和K矩陣做點(diǎn)積得到注意力分?jǐn)?shù)時(shí)需要產(chǎn)生一個(gè)序列長(zhǎng)度平方級(jí)的中間矩陣。序列長(zhǎng)度從CNN時(shí)代的幾百暴漲到了Transformer時(shí)代的幾千甚至幾萬(wàn)這個(gè)中間矩陣的尺寸直接爆炸——它在片上SRAM里根本放不下必須被頻繁寫(xiě)回DRAM。計(jì)算本身的FLOPs反而還好但數(shù)據(jù)搬運(yùn)的量級(jí)上升了一個(gè)維度。第二重沖擊是動(dòng)態(tài)shape。語(yǔ)言模型的序列長(zhǎng)度是不固定的推理的時(shí)候用戶輸入的token數(shù)量每次都不同。這讓很多針對(duì)固定shape做過(guò)極致優(yōu)化的靜態(tài)編譯方案失效。我測(cè)試過(guò)一些機(jī)器學(xué)習(xí)編譯器跑固定尺寸的CNN模型可以做到非常接近理論峰值但一旦切換成動(dòng)態(tài)sequence length的GPT類(lèi)模型性能掉一半是常事。原因就在于編譯期無(wú)法預(yù)知循環(huán)邊界指令流水線和數(shù)據(jù)預(yù)取策略全部被打亂。第三重沖擊是計(jì)算和訪存的分離傾向。Transformer里真正“算得多”的是線性層也就是矩陣乘但真正“影響性能”的往往是那些計(jì)算量不大、卻要反復(fù)來(lái)訪存的算子比如Softmax、LayerNorm、Residual Add、以及各種permute和reshape操作。如果芯片的架構(gòu)把MAC陣列做得極其強(qiáng)大卻在element-wise算子和數(shù)據(jù)搬運(yùn)動(dòng)作上偷工減料跑Transformer的時(shí)候整個(gè)流水線會(huì)嚴(yán)重失衡。4.3 為T(mén)ransformer而生的新架構(gòu)方向FlashAttention思路的硬件化軟件層面有一個(gè)很好的解決思路正在快速硬件化那就是FlashAttention的思路。它的核心洞察是不要讓注意力分?jǐn)?shù)矩陣完整地落到DRAM里而是通過(guò)分塊計(jì)算、在線softmax、增量更新讓盡可能多的計(jì)算在SRAM內(nèi)完成。這個(gè)概念看似是一個(gè)算法層面的優(yōu)化實(shí)際上它對(duì)硬件架構(gòu)提出了相當(dāng)具體的訴求片上SRAM要大、計(jì)算單元和SRAM之間的帶寬要足、并且計(jì)算陣列要能高效地流水線化執(zhí)行element-wise操作。我做架構(gòu)評(píng)估時(shí)特別關(guān)注一款芯片對(duì)FlashAttention風(fēng)格算子的支持程度。有些芯片的軟件棧直接提供了融合的Attention算子調(diào)起來(lái)很方便性能也穩(wěn)定有些芯片則要求用戶自己去手工tile和編排雖然有靈活性但門(mén)檻確實(shí)偏高。這個(gè)差別不僅僅是工程實(shí)現(xiàn)的問(wèn)題本質(zhì)上反映的是芯片架構(gòu)對(duì)數(shù)據(jù)流形態(tài)的適應(yīng)能力——是那種“為矩陣乘而生、其他一概不管”的架構(gòu)還是“理解模型計(jì)算模式、主動(dòng)做算子融合”的架構(gòu)。5. 分布式訓(xùn)練與推理當(dāng)算力從一顆芯片走向一片集群芯片單點(diǎn)的性能再?gòu)?qiáng)在千億參數(shù)模型面前都是杯水車(chē)薪。真正的系統(tǒng)級(jí)問(wèn)題是讓幾千顆芯片協(xié)同工作像一個(gè)整體一樣完成訓(xùn)練或者推理任務(wù)。這個(gè)層面的架構(gòu)設(shè)計(jì)考慮的問(wèn)題從晶體管轉(zhuǎn)移到了機(jī)架、網(wǎng)絡(luò)交換機(jī)和數(shù)據(jù)中心。5.1 三種并行策略背后的通信拓?fù)湫枨蟠竽P陀?xùn)練的基本功是三種并行數(shù)據(jù)并行、張量并行、流水線并行。三種并行對(duì)芯片間通信的需求截然不同。數(shù)據(jù)并行最簡(jiǎn)單每個(gè)芯片持有完整模型的副本喂不同的數(shù)據(jù)定期同步梯度。同步梯度的通信量取決于模型大小但通信是周期性的、突發(fā)性的可以靠帶寬換延遲。張量并行則是把一層算子的計(jì)算切分成多份讓多顆芯片各算一部分然后通過(guò)AllReduce合并部分結(jié)果。這種并行的通信頻率極高幾乎每做一次矩陣乘就要同步一次對(duì)芯片間互連的延遲和帶寬都是極限壓力。流水線并行稍微溫和一些是把不同層放在不同芯片上數(shù)據(jù)像流水線一樣一層一層往后流通信頻率低但需要足夠大的互連緩沖來(lái)吸收不同層執(zhí)行速度的差異。這三者并不是互斥關(guān)系真實(shí)訓(xùn)練里往往是混合使用的。而混合并行策略對(duì)芯片集群的互連拓?fù)涮岢隽艘粋€(gè)硬性要求不能假設(shè)通信只會(huì)發(fā)生在相鄰節(jié)點(diǎn)之間。所以現(xiàn)代AI集群的互連架構(gòu)基本都采用胖樹(shù)或全連接變體配合RDMA網(wǎng)卡和RoCEv2或者InfiniBand網(wǎng)絡(luò)。芯片本身的片上互聯(lián)能力反而退居其次跨芯片的通信質(zhì)量被網(wǎng)絡(luò)架構(gòu)主導(dǎo)了。5.2 緊耦合與松耦合AI芯片互連架構(gòu)的兩條路線在芯片層面多芯片互連也有兩種路線之爭(zhēng)。一種是緊耦合的典型如NVIDIA的NVLink/NVSwitch方案、NVIDIA的GB200 NVL72這種整機(jī)柜級(jí)互連方案。做到極致的情況下多顆芯片在軟件看來(lái)就像一顆巨大的芯片共享內(nèi)存、統(tǒng)一尋址通信對(duì)上層基本透明。這種方案開(kāi)發(fā)效率極高也是目前大模型訓(xùn)練最順暢的路徑。另一種是松耦合的芯片之間走標(biāo)準(zhǔn)以太網(wǎng)或者定制的高速通信接口每顆芯片獨(dú)立運(yùn)行通過(guò)軟件層的通信庫(kù)類(lèi)似NCCL的機(jī)制來(lái)同步數(shù)據(jù)。這種方案的好處是成本低、靈活性強(qiáng)壞處是通信延遲高、編程復(fù)雜。近年業(yè)界有一些專(zhuān)門(mén)為大模型設(shè)計(jì)的定制化以太網(wǎng)方案例如RoCEv2的擁塞控制算法針對(duì)多對(duì)一通信也就是AllReduce中最容易出現(xiàn)的流量模式做了很多優(yōu)化實(shí)際效果已經(jīng)接近專(zhuān)有網(wǎng)絡(luò)。我在評(píng)估AI芯片集群方案時(shí)會(huì)特別關(guān)注芯片是不是原生支持PCIe點(diǎn)到點(diǎn)通信和NVMe over Fabric這類(lèi)高速互訪協(xié)議。很多芯片單卡跑分很漂亮但互聯(lián)能力孱弱做數(shù)據(jù)并行訓(xùn)練時(shí)效率下降得厲害。芯片之間的通信帶寬、延遲、擁塞控制能力是決定訓(xùn)練集群擴(kuò)展性的隱形天花板。5.3 分布式框架的架構(gòu)層級(jí)從PyTorch DDP到Megatron-DeepSpeed的演進(jìn)分布式訓(xùn)練框架的架構(gòu)層級(jí)演變也值得聊一聊。PyTorch的DDP模式只是實(shí)現(xiàn)了數(shù)據(jù)并行通信邏輯簡(jiǎn)單粗暴每個(gè)step結(jié)束AllReduce同步一次梯度。這個(gè)方案在模型不大、顯卡數(shù)量不夸張的情況下夠用但一旦模型大到單卡裝不下就需要引入張量并行和流水線并行。Megatron-LM提供了完整的張量并行實(shí)現(xiàn)DeepSpeed加入ZeRO零冗余優(yōu)化器來(lái)切分優(yōu)化器狀態(tài)和梯度兩者結(jié)合一般叫Megatron-DeepSpeed就成了大模型訓(xùn)練的標(biāo)配。但對(duì)于AI芯片架構(gòu)師來(lái)說(shuō)這套軟件棧其實(shí)隱含了一層硬件假設(shè)它假設(shè)芯片之間的通信方式是以NCCL為底座的、類(lèi)似GPU的通信語(yǔ)義。一旦要適配新的AI芯片就必須實(shí)現(xiàn)一套類(lèi)似NCCL的通信庫(kù)并且針對(duì)新的互連拓?fù)渥鲂阅苷{(diào)優(yōu)。很多做芯片的公司低估了這部分工作量芯片做出來(lái)之后通信庫(kù)接不上分布式訓(xùn)練根本跑不動(dòng)。所以AI芯片選型時(shí)一定要看它的分布式通信棧成熟度而不光是通信硬件的理論指標(biāo)。6. 架構(gòu)的未來(lái)存算一體、chiplet與軟件定義硬件聊完已經(jīng)落地的方案再往前看一步。AI芯片架構(gòu)的演進(jìn)遠(yuǎn)沒(méi)有到收斂的階段反而因?yàn)槟P鸵?guī)模的膨脹而進(jìn)入了新的爆發(fā)期。三個(gè)方向在我看來(lái)值得特別關(guān)注。6.1 存算一體繞過(guò)存儲(chǔ)墻的終極手段還是工程烏托邦存算一體Computing-in-Memory的思路非常誘人既然數(shù)據(jù)搬運(yùn)是瓶頸那就不搬了。把計(jì)算單元做成和存儲(chǔ)單元貼合的結(jié)構(gòu)讓數(shù)據(jù)在存儲(chǔ)里就被直接算掉。阻變存儲(chǔ)器RRAM、相變存儲(chǔ)器PCM、甚至靜態(tài)隨機(jī)存儲(chǔ)器SRAM都能做存內(nèi)計(jì)算乘累加操作可以在存儲(chǔ)陣列的字線Word Line和位線Bit Line上直接完成模擬域或數(shù)字域都有實(shí)現(xiàn)案例。但這個(gè)方向的工程挑戰(zhàn)極大。模擬域的存內(nèi)計(jì)算精度受限8bit以上的定點(diǎn)計(jì)算信噪比就很難保證對(duì)主流AI模型尤其是訓(xùn)練場(chǎng)景對(duì)精度要求是FP16起步根本不適用。數(shù)字域的存內(nèi)計(jì)算面積開(kāi)銷(xiāo)又上去了SRAM存內(nèi)計(jì)算的密度相比專(zhuān)用計(jì)算陣列并無(wú)數(shù)量級(jí)優(yōu)勢(shì)。我個(gè)人的判斷是存算一體在未來(lái)幾年很難成為云端訓(xùn)練芯片的主流方案但在端側(cè)推理、模型參數(shù)固定的應(yīng)用場(chǎng)景比如離線推薦、語(yǔ)音喚醒里有機(jī)會(huì)率先落地因?yàn)樗鼘?duì)精度要求相對(duì)寬松、對(duì)功耗極度敏感、且模型一般不常變。6.2 chiplet與異構(gòu)集成把不同工藝的芯片拼成一個(gè)系統(tǒng)傳統(tǒng)的單芯片方案Monolithic在所有功能上都使用同一種工藝但AI芯片里不同模塊對(duì)工藝的要求差異很大——邏輯運(yùn)算需要先進(jìn)工藝的高頻率SRAM需要高密度DRAM的工藝則完全不同。Chiplet思路的核心就是“不再?gòu)?qiáng)求所有功能做在同一塊die上”而是把CPU核、NPU陣列、IO、SRAM分別做成小芯片再用先進(jìn)封裝比如CoWoS、InFO-LSI把它們高密度地拼裝到一個(gè)基板上。這樣做的好處有兩個(gè)一是良率改善明顯小芯片的制造良率遠(yuǎn)高于一顆巨大的SoC所以綜合成本反而更低二是設(shè)計(jì)靈活性提升可以像搭積木一樣組合不同能力的芯片模塊。但配套的難點(diǎn)也在這里——芯片之間的die-to-die接口協(xié)議比如UCIe必須足夠成熟信號(hào)完整性、電源完整性、散熱在封裝級(jí)的協(xié)同設(shè)計(jì)非常復(fù)雜。chiplet本身倒是早就大規(guī)模商用了AMD的EPYC服務(wù)器處理器就是多個(gè)chiplet拼出來(lái)的只是AI芯片場(chǎng)景下的chiplet互連對(duì)帶寬的訴求更加激進(jìn)。6.3 軟件定義硬件可重構(gòu)計(jì)算架構(gòu)是否卷土重來(lái)FPGA是“可重構(gòu)”的元老但傳統(tǒng)FPGA因?yàn)樵贏I計(jì)算上的面積效率太差一直沒(méi)能在主流AI市場(chǎng)打開(kāi)局面。但“軟件定義硬件”這個(gè)理念本身沒(méi)有死反而在新興的架構(gòu)形態(tài)里重新冒頭。一個(gè)是動(dòng)態(tài)可重構(gòu)的NPU陣列芯片的互聯(lián)網(wǎng)絡(luò)和計(jì)算單元的配置可以在運(yùn)行周期內(nèi)修改讓硬件拓?fù)鋭?dòng)態(tài)適配不同模型的算子依賴(lài)關(guān)系。這本質(zhì)上是對(duì)VLIW哲學(xué)的一種延伸——把“硬件怎么連”的決策權(quán)交給編譯器而編譯器可以根據(jù)當(dāng)前模型結(jié)構(gòu)實(shí)時(shí)生成配置位流。另一個(gè)是更徹底的“空域計(jì)算”Spatial Computing方案典型代表是SambaNova家的架構(gòu)。它把計(jì)算圖直接映射到硬件資源的三維結(jié)構(gòu)中數(shù)據(jù)流在計(jì)算單元間流動(dòng)而不是被“取指-譯碼-執(zhí)行”的指令流水線驅(qū)動(dòng)。這種架構(gòu)在編譯器和運(yùn)行時(shí)上投入非常大但一旦映射成功計(jì)算效率確實(shí)能做到非常接近理論上限。這類(lèi)方案的軟件棧復(fù)雜度極高短時(shí)間很難成為主流但它代表了一種重要的思路通用性和高性能并不是天然矛盾的只要你愿意讓軟件做更多事。從架構(gòu)演進(jìn)的角度看未來(lái)三到五年的AI芯片大概率不會(huì)是某一種“終極架構(gòu)”勝出而是多種架構(gòu)在不同場(chǎng)景里長(zhǎng)期共存。云端訓(xùn)練繼續(xù)由GPU和GPU-like方案主導(dǎo)端側(cè)推理被更多專(zhuān)用NPU和存內(nèi)計(jì)算蠶食數(shù)據(jù)中心邊緣則可能出現(xiàn)更多為特定模型定制的“半通用”芯片。7. 一句話看懂一款A(yù)I芯片架構(gòu)的實(shí)用框架最后分享一個(gè)我自己常用的框架幫助技術(shù)決策者快速判斷一款A(yù)I芯片架構(gòu)的成色。不需要讀懂每一份Datasheet抓住下面五個(gè)維度就能避免大部分選型陷阱。第一是看片上SRAM的容量和帶寬。這決定了單算子能裝多大的tile、算子融合能做到什么程度。低于一定閾值的芯片跑Transformer類(lèi)模型會(huì)非常吃力。第二是看MAC陣列的數(shù)據(jù)流形態(tài)。是脈動(dòng)陣列還是SIMD風(fēng)格還是可重構(gòu)陣列每種形態(tài)都有配套的編譯難度要結(jié)合團(tuán)隊(duì)自己的軟件能力選擇。如果團(tuán)隊(duì)主要靠C/CUDA生態(tài)SIMD風(fēng)格上手更快如果團(tuán)隊(duì)能接受更接近硬件編程模型的學(xué)習(xí)成本脈動(dòng)陣列的上限更高。第三是看軟件棧的支持深度。一個(gè)成熟的AI芯片不只是硬件好編譯器、算子庫(kù)、通信庫(kù)、調(diào)試工具這些“軟件底盤(pán)”決定了一個(gè)小團(tuán)隊(duì)能不能真正用起來(lái)。我經(jīng)常用“從拿到開(kāi)發(fā)板到跑通第一個(gè)Transformer推理需要多久”來(lái)衡量這個(gè)芯片軟件棧的成熟度。第四是看集群互連能力。芯片之間是標(biāo)準(zhǔn)以太網(wǎng)、RoCE還是專(zhuān)用高速互連是否原生支持分布式訓(xùn)練框架的通信原語(yǔ)這決定了你從單卡擴(kuò)展到多卡的平滑程度。第五是看生態(tài)綁定程度。芯片背后的生態(tài)是封閉的還是開(kāi)放的底層編程接口是不是對(duì)上層算法足夠友好這些看似“軟性”的指標(biāo)在實(shí)際生產(chǎn)效率上的影響往往比某些硬指標(biāo)更關(guān)鍵。架構(gòu)設(shè)計(jì)從來(lái)都是在“通用性”和“效率”之間走鋼絲。芯片設(shè)計(jì)如此軟件工程如此做一個(gè)好的技術(shù)選型決策也是如此。評(píng)估一款A(yù)I芯片架構(gòu)不只是在評(píng)估一塊硅片而是在評(píng)估一個(gè)團(tuán)隊(duì)對(duì)計(jì)算本質(zhì)的理解深度以及那個(gè)團(tuán)隊(duì)選擇把未來(lái)押在哪種計(jì)算哲學(xué)上。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
四虎国产精品永久在线囯在线| 日韩av电影网站| 嗯嗯啊啊好疼| 91在线秘 男同| 色噜噜人妻丝袜a∨先锋影| 春色校园综合网| 九九久精品| 久久这里是精品| 九九黄色网| 国产1727欧美| 精品中文字幕一区二区| 一区二区三区日韩欧美| 五月天亚洲色图| 亚洲精品第一| 91 亚洲情侣偷拍 久久| 超碰成人公开| 无码人妻丰满熟妇区毛片| 亚洲在线| 日本三级人妻a人妻一在线| 91蜜臀人妻中文字幕在线| 国产在线激情视频| 电影69乱码96| 国产日韩精品suv| 蜜臀久久久| 日本男人天堂| 天天流夜夜操| 亚洲精品97| 欧美躁死她一区二区| 人妻五十路在线| 国内偷拍精品一区二区| 日韩av熟女一区二区三区成人| 美女啊啊啊啊啊| 五月婷婷六月丁香| 男人天堂欧美| 怡红院怡春院| 亚洲国产精品9999在线观看| 色九九综合AV| 精品久久視頻在线| 深夜福利黄片| 国产一| 另类 日韩 熟女| 欧美少妇色综合| 午夜福利精品| 福利五区| 欧美亚涩| 60秒免费小视频| 黄色香蕉视频网站一区| 欧美中字不卡| 亚洲国产精品久久久久久久久久| av影片在线观看不卡| 婷婷激情五月| 天美传媒婬乱| 1024午夜激情男人的天堂| 黄片com.| 舔足天天操天天射| 97伪v| 网页导航五月天免费一二三区| 欧美色图99| 五月丁香六月激情综合| 亚洲精品国产熟女| 99超碰网| 有码免费观看| 影音先锋国产精品| 欧美男人天堂| 亚洲蜜臀视频精品久久| 水澄无码AV| 久久国产乱子伦精品免费女,网站| 97超碰69| www.狠狠操| 亚洲人成色9999精品久久 | 精品97久久| 久久久久久久一级黄色打同平台| 五月天婷婷在线看| 欧美日韩美女精品久草一区二区三区| 桃色五月天| 日本性感人妻91| 亚精品无码毛片一区二区三区| 国产男人又猛又粗又爽| 超碰95| 久草新免费| 久久久久久久久成人av解说| 亚洲九九九| 涩涩久久精品| 91九九九逼| 开心五月婷婷激情| 东京热男人的天堂精品| 中日韩免费看男女操逼大全| 久草看看看| 97精品97| 97超碰美国| 熟女六十路| 亚洲AV无码乱码| 91九九九吃| 99re这里只有精品3| 国产久久男人天堂| 国产日本熟女顶级一区二区三区视频| 精品一啪| 51一区二区三区| 91搡老女人老妇女老熟女歌词翻译| 无码操逼天堂| A男人的天堂| 麻豆人妻精品一区二区| 国产亚州高清国产拍精| 亚州免费啪啪视频| 综合欧美激情网| 在线日韩精品一区二区三区| 丝袜AV一区二区三区| 亚欧美综合网。| 大香伊人在线一区| 久久成人午夜狠狠| 色综合超碰超| 欧美亚州色的图| 91偷拍欧美亚洲| 综合色图区| 日韩色欲久久一二三四区| 精产品久久| 日本不卡一区二区三区| 老司机免费视频在线91| 天天干天天日天天射黄色片| 欧美一级黄色免费专区| 天天综合官网| 欧美亚洲情色| 人妻少妇久久中文字幕一区二区 麻豆 | 欧美性爱一级操| 一本色道综合久久欧美| 黄色香蕉视频网站一区| 爱妃国产亚洲视频中文字幕| av在线播放国产一区| 日本不卡五区| 中文AV制服乱伦| 天天视频黄| 欧美一级AAAAAAA| 色综合av综合久久| 亚洲国产精品有声| 欧美一级黄片免费播放| 丁香五月影院| 东北黄色电影| 婷婷色婷婷| 亚洲aV无码成人在线观看| 日韩黄色成人性爱| 天天射,天天操,天天爽-国内精品一区二区三区-成人AV | 啊啊啊啊啊啊啊国| 久久手机好看网站| 91熟女综合| 天堂射| 欧美亚洲第1页| 色综合加勒比| 无码精品久久久天天影视| 精品欧美А∨无码黑人大荫蒂| 精品无码久久久久久国产浪潮| 377p欧洲日本亚洲大胆| 五月天婷婷综合网| 天天做天天爱天天爽AV| 亚洲诱惑天堂 | 爱妃国产亚洲视频中文字幕| 奇米四色影视777久久久| 日本操逼视频导航| 夜夜肏2021| 色爱综合网欧美| 91在线丝袜视频| 亚洲一区二区 麻豆传媒| 欧美国产操逼| 日韩成人私密一级精品av| WWW啪啪的com| 九九AV| 日韩99神马视频片| 91bbb| 久思思热视频在线观看| 久久9亚洲| 嗯嗯啊啊好大好爽| 国产白丝av| 偷窥自拍A片| 97青青操视频| 国产精品久久久久久久久久久久久久吹| 91视频精品| 欧美视频边做饭边橾| 日本黄 R色 成 人网站| 久久久久久久久久久999| 欧美姓爱综合网| 人妻一区二区三区视频| 一区二区日韩欧美久久| 婷婷久草| 日韩精品在线放| 色婷婷狠狠18禁| 亚洲美女 晚间男人天堂 | 九九精品99| 丁香五月婷婷啪啪| 青青青草伊人精品| 一类无码操逼视频| 欧美久久婷| 久久久久久人| 口爆吞精在线观看| 91国产大片| 亚州综合色| 国产欧美日韩在线不卡第一页| 大香蕉一人在线| 欧美成97爱| 丰满人妻无码一区二区三区| 天天日日舔舔| 淫荡网址| 久操大香蕉手机视频在线看 | 高清孕妇孕交 交孕妇| 九九九九热| 成人午夜视频免费播放| 亚洲欲| 性久久久| 欧美美女自慰一区二区三区| 日本媚薬中文字幕在线| 亚洲国产无码精品首页久久久| 国产美女口爆吞精| 欧美亚洲天堂| 色女99一级片在线观看| 亚洲伊人久久综合97| 男人亚洲91首页在线| 无码粉嫩白虎一线天b区| 人人干人人操人人..com| 97精品视频网站| 国产午夜精品理论片a大结局| 国语人妻精彩刺激| 国产精品白丝| 国产av热热色| 日本日逼视频网| 欧美日韩国产人人| 成人婷婷丁香| 国产免费黄色一级大片| 五毛骚逼极品美女怕怕| 综合久久欧美| 日本国产欧美一区三区二区| 国精品一区二区三| 日日日日做夜夜夜夜无码| 精品久久99| 91啪啪| 日日夜夜骚| 精品无码不卡视频| 久久久999国产精品| 色婷婷激情| 97超碰美女| 丁香激情五月天| 日日夜夜免费| 无码视频一区二区| 亚洲色图欧美视频| 97在线观看| 欧美人妻色| 国产www色在线观看| 夜夜春夜夜操| 97午夜剧场日韩| 日韩免费中文字幕视频| 日韩欧美中文字| 亚洲偷拍自拍在线视频| 97天天摸天天爽| 日韩成人午夜精品久久高潮| 最新中文字幕精品在线| 熟妇色99| 日韩欧亚中文在线| 95人妻爽爽人人做人人澡| 欧美精品69性爱| 欧美亚洲激情一二三| 天天干天天做| 亚洲国产成人福利在线观看| 97欧美综合| 欧美色图下一页| 巨爆乳肉感一区二区三区竹菊影视 | 国产黑白丝在线| 日韩专区数据列表-第3230页-精品国产一区二区三区香蕉 久久99熟女人妻中文字 | 黄片com.| 中文 人妻 制服| 热久久99999| 99这里有精品| 国产性爱乱伦AV| 91黄站| 久久大陆| 啊啊啊啊啊啊啊国| 天天做日日做天天欢。| 久久亚洲国产成人| 欧美日韩97| 色97欧美| 亚洲九九视频| 97免费视频在线观看视频| 久艹伊人精品综合在线| 嗯嗯啊啊视频在线看| 国产精品美女在线一区| 国产东北女人在线视频| 大香蕉一区二区在线观看.| 欧美天天弄| 99这里只有精品| 精吧天堂| 久久精品高清无码一区| 亚洲黄a三级三级三级看三级| 色爽爽文学| 欧美日韩99| 搡老熟女老女人老熟妇免费视频| 日韩不卡毛片Av免费高清| 74成人在线| 视频不卡中文字幕| 凹凸精品熟女在线观看| 久夜视频| 国产91av在线播放| 香蕉国产精品麻豆亚洲欧美日韩| 亚洲无码com| 嗯嗯啊啊操我| 岛国1区2区3区在线观看| 欧美劲爆第一页| 国产怡红院在线| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 精品9999| 性91| 极品销魂美女一区二区| 免费AV中文网在线观看| 视频一区二区免费在线| 精品久久久久久中文字幕三区| 亚洲精品一二牛牛| 午夜超爽| 入口操逼网站| 色五月网址| 国产91美女高潮| 日韩pv中文| 九九热免费在线国产视频伊人五月| 五月婷婷六月丁香| 欧洲免费一区二| 精品然女一区二区| 欧美极品少妇| 青娱乐黄色录像| 亚洲天天在线| 屁屁影院一区二区三区国产| 全球成人中文在线| 嗯啊不要啊在线| 青苹果影院男人的天堂| 久久久久国产| 欧美日韩亚洲少妇寂寞影院正在播放 | 任你爽视频| 欧美美女自慰一区二区三区| 秋霞午夜视频一区二区| 蜜臀99久久精品| 99夜夜操| 一本色道久久天天射天天干| 欧美午夜一区二区三区| 翘臀vidoes| 超碰人妻中文在线| 欧美人妻少妇| 国产精品久久久久久无码红治院| 五月丁香亭亭| 免费久久9999| 亚洲熟女人妻中文字幕一区二区 | 天天干夜夜| 视频不卡中文字幕| 日韩人妻一二三区视频| 97久久久| 久久久禁| 久久男人的天堂| www.91理论| 美女刺激久久国产欧美| 骚逼自拍99| 亚州一区二区| 3p国产色噜噜一区| 人妻大相焦在线| 欧美色交| 最好看的中文字幕在线2018| 人妻插插人妻人| 粉嫩久久久极品| 极品销魂美女一区二区| 亚洲精品人妻吞精av| 2018天天日天天日| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | www.狠狠干.coom| 另类专区在线观看| 色精品极品| 丰满少妇一区二区三区四区观看 | 操我啊啊啊啊啊| 中文字幕在线观看AV| 美女久久久久久久| 999熟女精品| 国产中午字一暮区| 性色A∨91| 百度百度日本操逼| 免费av高清无码| WWW啪啪的com| 97色色婷婷| 欧美第一页性| 日韩在线人妻网站| 久久久神马影院| 国产精品乱码久久久久久久久| 欧美劲爆第一页| 亚洲欧美一区二区网址| 美女尤物人人操| 免费一级毛片在线视频观看| 蜜臀av一区二区三区免费观看| 伊人大香蕉在线| 熟妇国产免费一区| 久久香蕉国产线看观看亚洲女人| 无码一区免费在线不卡| 日韩欧美经典在线观看| 日韩女优在线| 久久精品成人一区二区三区蜜臀| 亚洲av青草久久一区二区| 国产乱色国产精品免费视| av在线一区二区三区| 婷婷导航| 欧美日韩婷婷中文| 九九热三级片| 做爱A级亚欧| 久久思思热| 99RE在线视频精品,这里只有精品| 97在线欧| 美国精品国产精品| 人妻久久久| 97色色,97综合| 亚洲激情久久久伊人综合| 蜜乳AV免费观看| 一级久久性爱视频| 激情文学 国产一二三aV| 五十路熟女,国产欧美精品区一区二区三区| 东北熟女91| 精品国产丝袜一区二区三区乱码| 久久欧美按摩999| 久久久精品视频欧州站| 久久精品国产AV一区二区三区| 婷婷久久五月| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 精品女同一区| 色狠狠综合噜一二三区| 色与欲影视天天看综合网| 无码高清操逼网址| 亚洲欲色9532548967一区| 啊啊啊啊啊好舒服视频| 日本潮催一卡操| 91狠狠综合久久久| 91精品人妻啪啪间| 中文字幕日韩电影人妻| 97色爱| 婷婷激情丁香| 精品伊人久久久大香线蕉小说| 97色97好| 亚洲中文字幕在现观看| 欧苏综合色综合| 久热网| 加勒比久久综合网高清| 物尤视频一区二区| 精品人成视频在线观看| 密桃99999| 中文字幕青青草| 女同性恋久久| 九九热午夜欧亚国产视频| 亚洲一区二区三区不卡国产欧美| 色狠人在线99| 91视频精品| 亚洲美女精品| 亚洲欧美不卡线| 色色热| 久久九九97| 成人免费在线网站| 91欧美丝袜| 日本精品网站在线中文| 日韩综合97P| 青青草日韩免费观看高清在线| 人人做天天爱| 性色av一区二区| 一级性爱视频免费在线| 九九热免费在线国产视频伊人五月| AV女优男人的天堂| 99在线观看无大码| 亚洲AV成人精品网站在AV| 婷婷五月天小说| 欧美在线亚洲| 床上啊啊啊一区二区三区| 国产无码久久高清| 伊人网在线观看| 性暴力欧美猛交在线直播| 蜜臀人妻少妇久久在线观看| 岛国1区2区3区在线观看| 亚洲不卡av在线| 男人女人18禁片免费看网站| 午夜欧美神马久久久久| 思思热久久成人| 青青伊人加勒比海| 亚洲色图日韩精品| 亚洲久久天堂| 97舔舔| 亚欧色图在线激情| 色噜噜人妻丝袜AV资源| 最新中文字幕精品在线| 蜜桃臀久久| 99在线精品观看99| 国产精品不卡av免费在线观看| 久久久久密| 久久久久久久久久久免费精品| 97碰碰日本乱偷人妻中文的| 一区二区三区免费岛国片| 亚州,欧美在线| 五月天激情婷婷| 精品人成视频在线观看| 人妻丝袜肏逼| 大香蕉啪啪啪| 热无码中文亚洲H一道本一区二区| 淫乱图区| 啪啪啪大香蕉| 亚洲密乳AV| 色综九九九一区| 夜色五月天| 三级激情网站| 亚91网| 日本裸体久久色噜噜| 无码高清专| 久久久日本电影| 丝袜无码a片| 黄aaaaaaaaaaaaaaaaaa色网站| 97美日韩视频| 蜜臀久久99精品| 99热精品在线播放| 97se综合网| 国产三级多多影院2022国产AA一级毛片无码 | 亚洲欧美激情另类色图| 可能人人看人人摸| 亚洲人久久久久日| 狠狠2050在线观看| 人人妻人人操人人乐| 欧美大香蕉同搞| 色噜噜国产精品视频一区二区| 一区二区国产视频在线观看| 丁香六月天| 国产人伦a片信息免费片| 九七色图| 欧亚揄拍偷拍精品视频 | 青青草公开在线免费不卡视频| 天天综合欧美综合| 丁香五月偷拍| 久久毛卡| 国产精品免费1区2区视频| 密臀成人视频久久久| 日韩超碰精品综合| 久久欧美按摩999| 日韩亚洲Av人人夜夜澡人人爽| 超碰97护士| 少妇高潮喷水无套久久久久久| 国产性感骚丝袜在线| 国产超碰人人爽人人做| 亚州熟妇精品| 综合影院亚洲| 欧美久热| 老司机射| 丰满岳乱妇一区二区三区| 91美女网站| 一本大道久| 330Dv国产女人终合视频极品人与兽 | 999综合色| 97超碰69| 亚洲 日本 一 二 三| 最新日产中文在线麻豆| 日韩国产欧美伦理在线| 性爱网站一区二区| 欧美色图20p| 久久久天堂| 天天干1区2区在线| 亚洲资源网| 国产精品久久久久久久久久久久久久久久久久 | 国产Aα| 老子午夜伦不卡影院| 丰满人妻一区二区三区| 亚洲日韩精品一区二区| 欧洲小说色图视频另类| 传媒免费一区二区三区| 五十路熟女工口 | 亚洲成人黄色在线观看| 女性喷水高潮在线观看| 国产精品香蕉| 久久超碰网| 亚洲一区二区AV| 自拍六区| 精品日韩| 国产精品成人AV片免费看网站| 亚洲天堂2020| 日韩一级二级三级在线不卡观看完整| 97在线视频网站| 欧美激情高清性猛交| 精品少妇99| 国产精品色约约| 人妻大香蕉| 免费男人的天堂| 国产亚卅97| 伊人久久大香线综合无码| 色就色综合| 家庭乱伦国产精品| 亚洲第一免费视频| 最新日产中文在线麻豆| 91丨熟女丨丰满熟女| 免费啪啪啪网站18岁| 99热这里只有精品99| 色玖玖| 天美国产三级传媒| 91视频成人福利网站在线一区| 久久综合精品一区二区三区| 久久久久网站-538在线视频-欧美永久乱码| 一区二区三区无卡视频在线观看| 精品国产乱码久久久兰草影视| 激情人妻另类| 中文字幕一区二区三区人妻不卡 | 国产乱伦搜索结果91P| 91大神精品长腿在线观看网站| 强奸乱伦AV一天堂网| 亚洲一区二区三区不卡国产欧美| 免费在线黄片视频| 色婷婷导航| 91人妻超碰| 美女毛片999| 亚洲综合 欧美| 精品国产乱子伦一区二区三区,精品一| 亚洲丝袜综合| 日韩极品无码B| 国产精品蜜乳AV| 开心五月深爱五月| 成人日韩中文字幕| 欧美综合在线第一页| 亚洲精品久| 开心六月色| 狠狠操狠狠燥| 国产一国产一级毛片古装| 欧美性爱无码一区二区三区| 欧亚在线视频| 91人妻视频在线| 亚洲第一二区另类图| 九九人妻| 欧州一区二区三区四区| 久久精品国产72国产精品福利 | 97天天在线| 综合97| 天天看天天在线精品| 久久久一区二区三区四曲免费听| 日韩精品操少妇| 亚洲黄色| 91强热人妻| 夜夜操老骚逼视频网站| 欧美手机在线综合| 精品久久久久久无码| 亚洲夜夜欢无码一区二区| 婷婷国产精品九区| 熟人人妻少妇精品久久| 国产一级特黄大片处女| 狠狠干,狠狠操| 国产乱人妻精品入口| 国产精品毛片| 操逼无码操逼| 婷婷色网| 九九九九一级| 五月婷婷丁香六月丁香| 人妻天堂综合网| 蜜桃精品一区二区三区久在线| 国产成年女黄特黄| 99爱在线视频| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 2017亚洲天堂| 熟女被操视频网址| 日本九九久久99| 家庭乱伦麻豆| 99在线精品观看99| 久久久精品一区二区| 亚洲啪啪视频免费| 少妇一线天久久久久久| 99久在线精品99re8| 为用户提供免费看黄网址在线观看| 亚洲激情久久| 日本精品加勒比海一区| 亚洲欧美在线观看2021| 超碰激情808| 97在线视频免费观看| 九九热AV| 久久久免费高清中文视频| 国产网红精品| www.91欧美| 一道α片欧美| 亚洲 中文 女同| 久久超碰日韩精品| 激情婷婷丁香| 亚洲AV无码乱码在线观看性色| 亚州色国| 九九干| 九草在线大香蕉| 日韩欧洲操屄视频| 人妻美腿丝袜制服诱惑综合天堂-| 久久亚洲欧美一区二区三区-亚洲国产精品第一区二区 | 香蕉在线一区二区三区| 大粗鳼巴久久久久| 99精品久久久久久久婷婷蜜桃| 欧美高清在线| 久久九九国产精品| 亚洲素人网| 美国aaaaa一级黄片| 91路www| 国产理论视频在线播放| 午夜后入| 亚洲国产成人精品久久久国产成人一区二区 | 操逼视频国产无套| 色婷婷综合久久久久中文一区二区| 久久人妻| 婷婷情色综合网| 久久97| 99自拍B亚洲 | 金典av| 91欧美性| 久久黄片国产一区二区| 国产成人主播| 午夜爽爽爽在线观看永久入口姬片| 亚洲日韩少妇一道本视频| 亚洲精品国产熟女久久久久久| 学生妹天天看| 婷婷亚洲五月***久久| 五月天人妻综合| 国产av尤物| 日韩三级在线观看网站| 美腿丝袜高跟网免费视频免费视频| 精品国产一区二区三区在线播出| 96久久久精品| 精品一区二区成人动漫| 91熟女网| 欧美成人亚洲精品| 国产精品69人妻无码久久久| 国产蜜臀在线| 97天天摸天天碰| www.久久制服糖| 最新9久久久9免费视频| 丁香五月AV| 国产主播福利| 99只有精品| 免费a在线播放v| 中文字幕三四区| 欧美另类自拍 | 国产日韩美女小穴视频网站不卡| 亚洲超碰在线| 国产精品福利资源在线尤物| 亚洲性图91| 五月婷色| 自拍偷拍国产欧美日韩韩| 97精品97久久| 久久久com| 超碰在线香蕉| 999精品女人| 日本淫穴在线| 长长久久免费视频| 操逼天美3区| 少妇精品| 欧美 熟女 日韩| 丁香五月电影| 久操网无码在线| 亚洲欧美伦综合| 日韩中文字幕熟妇人妻| 日本在线激情一区二区三区| 思思热在线视频在线| 18禁久久| 红桃视频高潮| 色婷婷视频| 操迟操逼在巾线Fre看| 男人的天堂久久| 久久久久久久久久久999| 国产精品乱码久久久久| 亚洲十八禁止| 麻豆精品久久久久久久| 黄片不用下载在线观看| 五月天久久综合网| 97色综合中文网| 日本精品九九九| 欧美精品第四五页中文字幕在线观看| 国产亚洲综合欧美一区| av在线播放国产一区| 青草精品视频-日本久久久久网站| 91男同| 91丝袜美腿网站| 一起草AV| 中文字幕av亚洲在线| 午夜超爽| 日本精品五区| 九九九九九精品视频| 亚洲综人| 中出789在线视频| 亚洲天堂女优在线| 青青草日韩无码| 色综合网1| 国产一区二区三三视频| 日韩欧美性爱电影在线观看| 91狠狠综合久久| 久久超碰大香蕉| 熟妇艹鸡八| 欧美嗯啊……在线观看视频免费| 色婷婷电影网| 免看60秒涩涩视频| 97色妞| 久久內射| 国产大片精久久久久久| 久久久爆乳翘臀一线天伦理视频| 秋霞曰韩R级| 亚洲国产麻豆一区二区三区| 一本精品日本在线视频精品| 乱伦日本中文自拍| 草草草视频在线免费看| 亚洲色图欧美一区二区不卡| 熟妇人妻精品一区二区| 亚洲做性| 亚洲自拍小说| 天天摸天天操视频| 少妇蹲下买菜露大唇0| 9ⅰ久久久天天| 97精品久久久久久久| 亚洲情色电影网| 亚洲色天堂日韩中| 97精品国产97久久久久久免费| 中文字幕高清20页视频| 五月天激情婷婷| av九九| 囯产操逼片| 日本十八禁免费看污网站| 国产亚洲色停停久久99精品91| 尤物AV免费网站| 国产亚热在线久久| 91老熟女91老女人| 亚洲精品黄码久久久久| 久久精品91| 97资源站国产精品| 亚州欧美另类| 97欧美综合| 男人天堂2017| 91亚洲高清| 日本性爱视频一级| 国产av强奸美女| 综合五月婷婷亚洲一区| 日韩精品一区二区日韩| 亚洲午夜福利在线影院| 欧美精品久久久久久久久88| 乱伦系列一区二区| 日欧操屄视频| 欧美熟爽综合| 性老妇一区二区三区| 欧美91网站| 中文字幕欧美日本乱码一线二线| 丁香7月婷婷| 国产美女激情| 日本精品九九九| 超碰色图| 美国黄片aaa| 亚洲AV秘 精品久久老牛影视| 久久精品中文字幕无码l| 99精品在线观看| 熟妇人妻一区二区三区| 北条麻妃性愛视频| 青青草五月份天| 97色97干| 韩国黄片aaaa| 91精品久久久久久77777| 91爱综合| 蜜桃丰满熟妇av无码区不卡| 亚欧美综合网| 无码人妻一区二区三区色欲aⅴ| 美骚妇av高清在线| 玖玖资源视频一区二区三区| 久久超碰网| 精品毛片av一区二区| 欧美性爱伊人| 色哟哟-国产专区| 97超碰免费生活| 国产精品夜夜夜| 黄片www视频免费| 日韩卡一卡二卡三在线| 99精品视频在线观看| 屌色在线97视频| 精品九九淫乱男| 色婷婷一区二区三区久久| 伊人黄色片| 天天躁日日躁AAAXX| 久久久久久久久久久久久9999| 人妻激情在线视频| 亚洲欧美日韩中文播放| 久久久久久久国产视频| 天堂九九九九九九九九九| 91 综合 色| 国产传媒日韩| 大香蕉免费3| 午夜精品视频777| 中文字幕97色| 99超碰碰| 精品一区二区成人| 极品色社| 亚洲交换| 久久久久久亚洲Av无码精| 国产久久久久久久久一区二区| 后入内射蜜桃臀| 熟人人妻少妇精品久久| 免费看国产曰批40分钟怎么下载| 日韩AV电影网站| 极品出轨视频网站| 亚洲色图 图片| 精品九九| 日本中文字幕在线视频 | 超碰这里只有精品| 精品人妻一区二区三区在线视频不卡| 国产 无码 一区二区| 天天日日本| 另类小说欧美激情校园春色| 亚洲第一无码播放立川理惠| 91色爽欧美| …亚洲黄色厕厕女女在线播…| 国产一区二区三区影片| 欧美日动态视频| 国产激情在线| 黄片在线免费在线观看| 久草精品一区| 成人乱人伦一区二区| 蜜色网色哟哟| 亚洲男人的天堂va亚洲男人社| 五月天婷精品激情| 国产人妻一区二区三区欧美毛片| 亚洲无 码A片在线观看麻豆| 91操人视频| 激情四射婷婷六月天| 做爱A级亚欧| 一道本久久棕合爱| 久久这里只精品| **一级毛片国产| 日韩黄色小说| 久久久精品中文字幕爱豆| 欧美熟爽综合| 91美女网站| 久久久久久久极品香蕉视频| 亚洲情色 欧美| 国内一区二区免费| 亚洲精品一区二区三区在线播放| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 制服诱惑亚洲一区二区三区在线观看| 少妇人妻在线| 日韩另类| 亚洲男人的天堂va亚洲男人社| 这里都是精品在线观看| 大但人体久久久久| 蜜桃AV天堂| 国语对白在线播放视频| 亚洲啪啪啪啪视香蕉| 91精品无码久久久久久久| 国产伦精品免编号公布| 2019天天干| 亚洲婷婷五月天| 超碰97综合| 六六久久日韩不卡| 日少妇视频| 国产视频一区二区在线观看| 香蕉欧美| 区一二区日韩亚洲乱码av电影| 国产黄色小视频网站| 精品久久青青草| 97爱综合| 躁躁日曰躁2020| 九九干| 国产精品夜夜夜| 911粉嫩人妻| 情色大香蕉| 五月天开心网| 女性91网站| 青娱乐大香蕉| 国产精品视频麻豆入口| 色欧洲97| 国产精品成人无码av| 国产精品香蕉| wwe 天天干.com| 操逼操网| 欧美欧美少妇| 久久不卡一区二区| 中国大陆国产高清AⅤ毛片| 欧美第二页午夜| 久久综合99| 精品免费视频国产一区| 亚州久久9| 国产真实野战在线视频| 60秒不遮不挡| 国产超碰国产97| 操逼视频国产无套| 亚州精品人妻一二三区| 精品国产乱码久久久久久久久1| 无码操逼视频一下| 精品无码一区二区人妻久久蜜桃| 无码国产精品午夜不卡(| 婷婷五月天激情四射| 青女在线| 久久香蕉网| 一级性爱视频免费在线| 欧美精品欧美精品系列| 色蜜AV| 神马久久久久久伦理片| AV色五月天| 91精品人妻一区二区三区蜜臀| 久久超碰爱| 亚洲日韩美国人妻| 亚洲欧美不卡线| 色91综合网| 97香蕉碰碰人妻国产欧美| a片自拍直播视频| 天操天操夜操夜月操月年年操操| 一区二区你上我| 无码精品久久| 97超碰影音| 美女97超碰| www.超碰| 伊人网综合在线视频| 超碰97综合| 国产农村妇女精品一| 国产热RE99久久6国产精品首| 亚洲春色一区二区三区| 91美女視頻| 婷婷97| 国产一进一出视频网站| 中出欧美| 久久熟女嫩草成人片免费| 91+欧美| 亚洲av影院在线观看| 日本成人在线不卡一区二区三区| 国产精品网站免费| 亚洲国产麻豆一区二区三区| 亚洲啪啪综合?v一区综合精品区| 99re99视频在线免费观看| 丰满的三级少妇欧美久久久| 亚州综合| 新91视频.cmp| 夜精品久无码| 亚洲一区二区三区麻豆传媒| 99热在线播放| 一起草精品人妻| 亚洲春色欧美激情自拍| 色色九区| 亚洲熟女乱综合一区二区在线-...亚洲国产日韩欧美一区二区三区,久久久久久精 | 新版天堂中文资源8在线| 中国少妇XXXX做受| 国产成人欧美精品在线| 色约约一区=区三区| 校园春色家庭伦理欧美激情| 久久綜合很很很| 日本免费不卡二区| 久久国产视频性吧 | 久久久蜜桃一区二区三区| 亚洲av无码成人精品国产| 国产91亚洲精品一区二区三区| 欧美日韩美女精品久草一区二区三区| 欧亚第一综合网| 99热这里只有精| 99国内精品| 9久久精品| 高清国产av无码| 免费强奸av| 国产亚洲日韩在线三区黑人| www亚洲免费| 97国产中文| 伊人久久亚洲色欲综合网站| 在线情色电影 91大| 91在线色| 91精品人妻一区二区三区蜜桃臀| 婷婷三区| 婷婷97| 日韩无码专区| 人妻中文字幕日韩电影| 中文字幕高清精品一区| 热99这里有精品综合久久 | 亚洲在线91| 天美麻豆精品视频99| 久久久爆乳翘臀一线天伦理视频| 99精品久久| 婷婷天堂站| 超碰99在线观看| 一级免费啪啪片| 国产精品久久久久av| 99久久婷婷| 夜夜爽爽爽| 超碰亚洲97| 97免费在线视频在线观看| 黑丝少妇麻豆| 伊人色综合超碰| 在线亚洲精品久久久| 天天操天天谢| 少妇精品久久久八区九区| 亚洲国产中文字幕| 91制服丝袜| 91丝袜在线观看| 欧差乱伦二三| 黑人美精品 A片| 国产AV色黄看到爽| 大香蕉强奸乱伦| 天天看,天天做| 蜜臀久久99精品久久综合| 国产精品一区人妻精品阁在线| 四虎影库国产精品免费| 国产又大又粗又色生活片亚洲国产精品成人久久久综合免费 | 精品午夜福利| 97在线免费看| 欧美黄片视频在线观看免费 | 国产精品成人无码av无码免费| 久久成人精品| 亚洲日韩东京热一区| 98一区二区精品| 91在线精品| www.色婷婷色综合| 欧美精品一区二区少妇免费A片 | 亚洲欧美另类图片| 日韩欧美亚洲自拍偷拍| 亚欧性爱无码| 福利伊人玖玖国产| 国产成人+综合亚洲+天堂| 九九精品美女高溯喷水| 中国熟女网站| 亚洲欧美国产精品久久久久久久| 九九草| 人妻献身系列第54部| 亚洲午夜福利在线影院| 1024人妻| 中文字幕久久精视频久久大全| 夜夜骑日日| 91综合中文字幕| 色翁荡息又大又硬又粗又爽| 去干网最新版| 日本丝袜美腿人妻九九| 伊人久久亚洲色欲综合网站 | 日本精品人妻少妇一区二区| 60秒免费小视频| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区 | 91国内外在线| 91丝袜在线播放| 芊芊操逼视频无码| 夜夜嗨AV一区天天| 我中文字幕6区| 久久久久99999| 一,爱啪啪,在线免费视频| 六六久久日韩不卡| 黑人精品久久97| 18精品一区| 夜夜做夜夜爽精品视频| 怡红院成人视频| 欧亚性爱在线视频| 99热这里都是精品| 欧美 综合 亚洲| 日韩十八禁| 国产精品无套内谢| 丰满人妻一区二区三区四| 天欧美在线| 亚洲不雅视频1区二区| 色久桃花影院在线观看| 四季AV综合网址| 91亚洲人| 欧亚性爱啪啪| 久久综合女优| 东京热男人的天堂| 亚洲aV无码成人在线观看| 97天天做| 啊啊啊想要| av网页一区二区三区| 亚洲精品久| 91精品丝袜久久久久久| 奇米狠999| 欧美性暴力猛交XXXX| 亚洲国产天堂| 蜜乳AV色欲AVAV无码| 五十路熟女工口 | 久久精品国产亚洲AV成人直播| 黄页大片在线观看| 97在线观看视频| 嫩草一区二区在线观看| 国产精品色哟哟| 蜜臀久久99精品久久久久| 色九月婷婷| 精品高清牛人盗摄一区二区三区中文字幕A片免费在线观看 | 啊啊啊啊啊好大好舒服想要|