日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

CATLASS算子模板庫:基于模板元編程的高性能GPU算子設(shè)計(jì)實(shí)踐

CATLASS算子模板庫:基于模板元編程的高性能GPU算子設(shè)計(jì)實(shí)踐 1. 現(xiàn)狀CATLASS算子模板庫到底解決了什么問題這幾年做高性能計(jì)算的同行應(yīng)該都有同感算子開發(fā)已經(jīng)從“能跑就行”卷到了“必須榨干每一絲算力”。我們團(tuán)隊(duì)維護(hù)的這套自研算子模板庫內(nèi)部代號CATLASS說白了就是一套面向CUDA/GPU環(huán)境的C模板化算子框架專門用來快速生成高性能算子尤其是矩陣乘、卷積、歸約這類計(jì)算密集型和訪存密集型內(nèi)核。它借鑒了CUTLASS的思路但在調(diào)度策略、數(shù)據(jù)流編排和代碼生成層面做了一定程度的定制適配我們內(nèi)部的計(jì)算平臺和業(yè)務(wù)場景。CATLASS這個詞拆開看就是CUDATemplateLibrarySystem的合成但實(shí)際定位不只是“又一個GEMM庫”而是一套面向算子復(fù)用的基礎(chǔ)設(shè)施。過去寫一個高性能算子基本流程是通讀架構(gòu)手冊手工排布線程束和共享內(nèi)存調(diào)優(yōu)異步拷貝、流水線階段數(shù)、寄存器緩存策略測一遍性能然后換一個shape一切重來。有了CATLASS之后核心算子的計(jì)算主循環(huán)、數(shù)據(jù)搬移、切分調(diào)度被參數(shù)化成模板通過組合模板參數(shù)就能派生出不同規(guī)格的實(shí)現(xiàn)性能和手工調(diào)優(yōu)版本基本持平甚至在某些形狀下能超過。這套庫目前在我們團(tuán)隊(duì)內(nèi)部已經(jīng)覆蓋了三大類算子矩陣乘GEMM及其變體、卷積前向和反向、以及若干融合算子比如GELUGEMM、LayerNormGEMM。訓(xùn)練和推理側(cè)都有落地。整體代碼規(guī)模在五萬行左右核心模板頭文件大約二十多個配合一套構(gòu)建腳本和性能基線測試形成了從模板定義到benchmark回歸的完整閉環(huán)。很多剛接觸這套庫的同事會問一個問題現(xiàn)在cuBLAS、CUTLASS都開源了而且生態(tài)成熟、適配充分為什么還要自己搞一套這個問題其實(shí)正中要害。我的回答通常分兩層第一自研模板庫的核心價值不是“避免用第三方庫”而是“面對黑盒算子和高復(fù)雜度代碼生成框架之間提供一個中間層級”。cuBLAS是黑盒性能很好但你很難切入自定義融合邏輯CUTLASS是頂級的代碼生成庫但它的抽象層次極高迭代速度極快想要維護(hù)二次開發(fā)成本不小。CATLASS要做的就是用更輕量的抽象去覆蓋業(yè)務(wù)中最常出現(xiàn)的形狀和融合模式做到夠用、易改、可控。第二分布式訓(xùn)練和推理服務(wù)中經(jīng)常出現(xiàn)非規(guī)則shape和自定義數(shù)據(jù)類型需求模板庫能夠快速適配這是純黑盒庫做不到的。適合誰來參考這套思路我覺得有三類人一類是業(yè)務(wù)團(tuán)隊(duì)中負(fù)責(zé)底層算子優(yōu)化、但沒精力完整啃下CUTLASS龐大抽象層的人一類是在做AI推理引擎、正在設(shè)計(jì)自己算子層抽象的人還有一類是單純想理解高性能算子如何通過模板拆解實(shí)現(xiàn)復(fù)用的人。這篇文章我會把CATLASS的設(shè)計(jì)思路、關(guān)鍵實(shí)現(xiàn)細(xì)節(jié)、踩過的坑和后續(xù)規(guī)劃完整展開不吹不黑盡量還原我們做這套庫時的真實(shí)取舍。2. 核心設(shè)計(jì)思路為什么用模板來抽象算子而不是代碼生成或運(yùn)行時調(diào)優(yōu)2.1 對比三條技術(shù)路線的取舍在CATLASS立項(xiàng)之前團(tuán)隊(duì)內(nèi)部其實(shí)認(rèn)真討論過三條技術(shù)路線第一是運(yùn)行時調(diào)優(yōu)路線就是準(zhǔn)備幾十個kernel實(shí)現(xiàn)上線前跑一遍自動調(diào)優(yōu)選最優(yōu)配置運(yùn)行類似cuBLAS的heuristic策略第二是離線代碼生成路線也就是用Python或者外部DSL描述算子的循環(huán)結(jié)構(gòu)和數(shù)據(jù)搬移然后生成CUDA C代碼投入編譯第三就是我們最終選擇的模板元編程路線把算子的結(jié)構(gòu)拆成編譯期常量組合通過模板參數(shù)實(shí)例化出不同實(shí)現(xiàn)。三者的核心差別在“調(diào)優(yōu)決策發(fā)生在哪一層”。運(yùn)行時調(diào)優(yōu)最靈活但代價是顯存占用爆炸、啟動延遲上升而且對于融合算子這種需要跨層感知的情況預(yù)置方案很難枚舉齊全。離線代碼生成最“自由”但會引入代碼生成鏈路的維護(hù)成本調(diào)試排錯多一環(huán)而且生成的代碼常常不夠穩(wěn)定容易被編譯器優(yōu)化差異搞崩。模板方案則把變化點(diǎn)收斂到類型參數(shù)上沒有額外代碼生成環(huán)節(jié)編譯器看到的是實(shí)實(shí)在在的C源碼調(diào)試體驗(yàn)最接近手寫kernel。但模板方案的缺點(diǎn)也非常明顯抽象層級一旦沒設(shè)計(jì)好模板參數(shù)數(shù)量會指數(shù)膨脹代碼可讀性直線下降編譯時間暴漲。這個問題我們吃了不少苦頭后面3.2小節(jié)會詳細(xì)講怎么控制模板復(fù)雜度。選型結(jié)論是核心高頻算子用模板組合邊緣場景和一次性實(shí)驗(yàn)用腳本生成兩條路線并存但主路徑始終是CATLASS模板。2.2 一個核心GEMM模板的參數(shù)拆解拿我們最常跑的FP16 GEMM算子舉例CATLASS的kernel入口長這樣template typename ElementA, // 輸入A矩陣元素類型比如 half typename ElementB, // 輸入B矩陣元素類型 typename ElementC, // 輸出C矩陣元素類型 typename ElementAccum, // 累加器類型通常是 float typename TileShape, // 線程塊級tile形狀比如 Shape128, 128, 32 typename WarpShape, // warp級tile形狀 typename ThreadShape, // 線程級tile形狀 typename StageCount, // 流水線階段數(shù)比如 3 或 4 typename SchedulePolicy, // 主循環(huán)調(diào)度策略 bool SwapAB // 是否交換A/B加載角色 __global__ void GemmKernel(const ElementA* A, const ElementB* B, ElementC* C, ...);第一次看到這一大串模板參數(shù)的同事通常都會懵。我解釋的時候喜歡打個比方這就像做菜菜譜固定但你可以選食材種類Element類型、切菜大小TileShape、灶臺數(shù)量StageCount和顛勺節(jié)奏SchedulePolicy模板就是把這些選擇提前到“點(diǎn)菜下單”階段而不是做菜過程中臨時更改。TileShape里的三個維度分別是線程塊在M維、N維、K維上的分塊大小。選多少不是拍腦袋M維和N維的乘積決定了線程塊并行度要和GPU的SM數(shù)量、寄存器預(yù)算匹配K維則直接影響數(shù)據(jù)復(fù)用率K太小則每次從全局內(nèi)存搬入的數(shù)據(jù)很快被消費(fèi)完K太大則Shared Memory容納不了所需分塊。我們以A100為例做過一個估算A100的SM Shared Memory是164KB可配置到最多164KB如果TileShape選128x128x32用FP16存儲A和B的tile各占128*32*28KB雙份就是16KB三級流水線就要48KB余量留給double buffer和同步開銷是比較舒服的組合。如果上到256x256x64光A/B tile就是256KB直接爆顯存所以這種激進(jìn)形狀只有在特定大L2的卡上才能考慮。模板設(shè)計(jì)中最需要小心的是“可組合性”和“可用性”的平衡。我們的做法是做分層抽象不是一把梭把所有參數(shù)堆在一個模板上。底層是數(shù)據(jù)搬移原語和計(jì)算原語中間層是線程塊級調(diào)度和Warp級調(diào)度頂層才拼裝成完整的GemmKernel。這樣底層原語可以獨(dú)立測試和重排不同上層策略能復(fù)用同一套搬移代碼開發(fā)新算子的成本從兩周縮減到兩三天。2.3 對比CUTLASSCATLASS做了哪些取舍說到算子模板庫繞不開CUTLASS。CATLASS立項(xiàng)時深度參考了CUTLASS 2.x的設(shè)計(jì)在概念層面高度一致比如Tile抽象、Warp布局、Shared Memory迭代器等。但我們在三個點(diǎn)上做了主動簡化第一砍掉了“Collection”和“Complex”這類為追求極致彈性而設(shè)計(jì)的抽象層級。CUTLASS為了支持任意算子形態(tài)引入了很多中間類型這對框架維護(hù)者來說是合理的但對業(yè)務(wù)開發(fā)者來說心智負(fù)擔(dān)太重。CATLASS只保留“把它變成GEMM能解決的問題”這條主線其他形態(tài)走適配層轉(zhuǎn)接到GEMM模板上讓90%的日常需求落在一條主路徑上。第二調(diào)度策略沒有做成完全可插拔的泛型而是內(nèi)置了少數(shù)幾種經(jīng)過驗(yàn)證的SchedulePolicy枚舉。CUTLASS的調(diào)度器是高度模板化的策略類你可以通過不同的策略組合實(shí)現(xiàn)warp-synchronous、warp-specialized、ping-pong等模式。CATLASS也支持這些模式但對外只暴露四五種預(yù)設(shè)策略內(nèi)部實(shí)現(xiàn)通過if constexpr分發(fā)到不同代碼路徑。這樣可以大幅減少模板實(shí)例化分支編譯時間從CUTLASS動輒幾分鐘一次降到幾十秒。第三數(shù)據(jù)類型的適配范圍更聚焦。CUTLASS支持從FP64到int4的廣泛數(shù)據(jù)類型以及各種mixed-precision組合CATLASS首選支持的是FP16和BF16輸入、FP32累加這個AI計(jì)算最常見組合FP8還在完善中int8目前走的是另一套SGEMM模擬路徑。聚焦帶來的好處是我們可以在內(nèi)存對齊、向量化加載和歸約順序上針對這幾個類型做激進(jìn)優(yōu)化減少模板分支。3. 核心細(xì)節(jié)解析從Tile切分到寄存器緩存這些地方?jīng)Q定了性能上限3.1 線程塊級、Warp級、線程級的三層映射高性能算子的本質(zhì)是重復(fù)利用數(shù)據(jù)。你從全局內(nèi)存里搬一個數(shù)據(jù)進(jìn)寄存器或Shared Memory總希望能多算幾次再扔。CATLASS的映射策略就是圍繞“復(fù)用”二字展開的。線程塊級ThreadBlock映射負(fù)責(zé)確定一個C tile由哪些線程塊計(jì)算典型是128x128的C tile然后由4個warp每個warp負(fù)責(zé)64x64或者8個warp每個warp負(fù)責(zé)32x64劃分。線程塊之間完全獨(dú)立不需要通信這是scheduling友好的基礎(chǔ)。Warp級映射決定每個warp內(nèi)部32條線程如何協(xié)作。以WarpShape64, 64為例每個線程最終負(fù)責(zé)的C元素個數(shù)是64*64/32128個。這128個元素不會連續(xù)分配給一個線程而是分散成多個8x8或4x8的微塊交錯放在warp的lane上。這么做的目的是讓同一時刻相鄰lane訪問的Shared Memory地址盡可能分布在不同Bank上減少Bank Conflict。我們在一個內(nèi)部測試?yán)飳Ρ冗^同樣計(jì)算量下布局方案從連續(xù)分配改成交錯分配后Shared Memory的訪存效率提升了32%GEMM整體性能漲了8個百分點(diǎn)。線程級映射是最底層的計(jì)算粒度決定了每個線程在寄存器里的數(shù)據(jù)布局。這里有一個非常關(guān)鍵的經(jīng)驗(yàn)**寄存器里的C矩陣布局決定了累加時是否會產(chǎn)生寄存器Bank Conflict也決定了最后寫回全局內(nèi)存時能否走STG.128向量化寫。**我們用float4對齊的布局將每個線程的8個C值組織成兩組float4寫回時剛好一條st.global.v4.f32指令搞定。三層映射之間的關(guān)系可以用俄羅斯套娃來理解塊套warpwarp套線程每層都遵循同一個原則——計(jì)算密度和訪存密度的比值要盡量大。如果某一層計(jì)算太少就會造成同步開銷相對過高出現(xiàn)“花大量時間等人”的局面。3.2 Mainloop多級流水線怎么排才能讓數(shù)學(xué)單元永不空等GEMM kernel的性能核心在主循環(huán)Mainloop。一次典型的mainloop迭代干三件事從全局內(nèi)存加載A和B的下一塊數(shù)據(jù)到Shared MemoryLoad階段把Shared Memory中的數(shù)據(jù)搬進(jìn)寄存器并做乘累加Compute階段以及維護(hù)各個階段的同步點(diǎn)。CATLASS使用多級流水線隱藏訪存延遲默認(rèn)三級流水較極端的情況用四級。流水線的核心思路是讓Load和Compute重疊。用生產(chǎn)者-消費(fèi)者模型理解Load階段是生產(chǎn)者Compute階段是消費(fèi)者。三級流水意味著Shared Memory里同時維護(hù)三份A/B tile一份正在被load填充、一份已經(jīng)就緒等待計(jì)算、一份正在被消費(fèi)。這樣計(jì)算單元拿到數(shù)據(jù)后不必等待下一次全局內(nèi)存訪問延遲被掩蓋在流水線里。實(shí)現(xiàn)細(xì)節(jié)上我們是靠cuda::pipeline原語 手動cp.async指令配合完成的。這里有個很大的坑cp.async的commit/wait組管理。commit表示一批異步拷貝已經(jīng)發(fā)出wait則等待某批完成。如果批次數(shù)和實(shí)際申請的Shared Memory buffer對不上輕則數(shù)據(jù)錯亂重則死鎖。我們的做法是在StageCount模板參數(shù)里帶上對應(yīng)批次數(shù)作為編譯期常量通過#pragma unroll展開循環(huán)確保commit和wait嚴(yán)格一一配對。與之關(guān)聯(lián)的是“屏障”的放置。__syncthreads()是線程塊級屏障但多級流水線中不同warp可能處于不同階段全量同步會把流水線拉平喪失overlap效果。我們的解決方案是在warp specialize模式下只對生產(chǎn)者warp和消費(fèi)者warp之間的共享buffer做輕量級屏障barrier arrive/wait讓不同warp各忙各的。這算是對CUTLASS中warp-specialized策略的一種簡化實(shí)現(xiàn)性能提升顯著。3.3 Shared Memory布局與Bank Conflict規(guī)避實(shí)戰(zhàn)Shared Memory是GP U上最緊俏的存儲資源同時也是最容易出現(xiàn)性能陷阱的地方。CATLASS在這塊的實(shí)踐可以濃縮成三句話數(shù)據(jù)要對齊訪問要分散padding要到位。先對齊。Bank寬度是4字節(jié)一個warp訪問Shared Memory時硬件會把32條線程的訪問請求按地址分到32個Bank上。如果線程訪問的地址剛好都落在同一個Bank就發(fā)生沖突變成串行訪問。CATLASS中所有Shared Memory數(shù)組都按16字節(jié)對齊分配確保向量化load/store不會跨Bank邊界。再分散。以FP16為例兩個half拼成4字節(jié)正好占一個Bank。當(dāng)線程lane_id想訪問A[row][col]時如果col對所有l(wèi)ane相同就會出現(xiàn)所有線程同時訪問同一行的不同列地址這在Bank層面可能是好的但如果行偏移設(shè)計(jì)不好就會撞地址。我們的經(jīng)驗(yàn)是A矩陣按天真的行主序存儲但訪問時搭配Swizzle模式把地址打散。具體做法對每個tile內(nèi)部把原本行連續(xù)的地址通過異或操作映射到不同的Bank組合這樣連續(xù)lane訪問的地址在Bank上均勻分布。Padding是最粗暴也最有效的兜底方案。我們在共享內(nèi)存數(shù)組的每行末尾加一個元素的padding把行寬從對齊寬度變成非對齊寬度讓連續(xù)行的起始Bank號錯開。這招看似簡單實(shí)測下來能將極端情況下的Bank Conflict從8路沖突降到1路性能直接翻倍。不要小看這一行代碼很多開源實(shí)現(xiàn)里為了省那一點(diǎn)Shared Memory不加padding結(jié)果性能反而更差。3.4 寄存器緩存與指令級并行壓榨ALU利用率的最后一公里Mainloop計(jì)算階段的最后瓶頸往往不在Shared Memory而在寄存器和指令調(diào)度。每個線程從Shared Memory裝載A/B的fragment后乘累加操作分布在多個獨(dú)立的依賴鏈上。如果依賴鏈過長每周期ALU可能空等數(shù)據(jù)如果依賴鏈過短且沒有足夠多的尾數(shù)指令流水線又會堵塞。我們在模板中默認(rèn)讓每個線程在K方向上一次處理4個配合FP16的half2向量化累加器保持8到16個獨(dú)立fragment。這能讓編譯器有足夠的指令級并行ILP空間去隱藏FMA指令的延遲。寄存器分配上累加器只用float或float4不引入額外寄存器副本搬運(yùn)用的臨時寄存器用完即棄避免寄存器溢出到Local Memory。這里有一個我們自己踩過的坑某次為了減少Active Warps數(shù)量達(dá)到更高單核頻率把每個線程的C tile從8x8改成16x8導(dǎo)致每個線程的累加器數(shù)量從8個變成32個。寄存器壓力直接爆表kernel occupancy從50%降到了25%最終性能不升反降。后來我們才意識到寄存器緩存不是越多越好而是在不降低占用率的前提下盡量多。GPU是“用并行換延遲”的機(jī)器拋棄占用率去追求單線程ILP是舍本逐末。3.5 融合算子的處理思路不是所有融合都要拼進(jìn)GEMMCATLASS里還有一類高頻需求是融合算子典型如GELU和GEMM的融合。很多框架的做法是在GEMM后面接一個獨(dú)立的activation kernel數(shù)據(jù)先寫回全局內(nèi)存再讀出來做GELU白白多一遍全局內(nèi)存往返。CATLASS的做法是在GEMM的epilogue階段把C累加器經(jīng)過激活函數(shù)處理后直接寫回省掉中間商。這里要強(qiáng)調(diào)一個設(shè)計(jì)原則能融到epilogue里的操作就融進(jìn)去需要跨整個tile統(tǒng)計(jì)的操作不要硬融。例如GELU、ReLU、LayerNorm中的per-row均值方差前者元素間無依賴可以逐線程處理放到epilogue非常合適后者需要跨同一行所有線程做歸約如果硬融進(jìn)GEMM需要在epilogue階段額外引入一次跨線程通信Shared Memory占用和同步開銷都會上漲。我們的折衷方案是保留獨(dú)立kernel做per-row的統(tǒng)計(jì)但讓GEMM算子直接輸出到L2友好的中間布局減少后續(xù)kernel的訪存開銷。融合判斷有一個經(jīng)驗(yàn)公式當(dāng)融合引入的額外Shared Memory/同步操作帶來的開銷小于省掉一次全局內(nèi)存讀寫帶來的收益時才值得融合。計(jì)算時可以粗略估計(jì)一次全局內(nèi)存訪問的耗時幾百個cycle再和同步/歸約的開銷做對比心里就有數(shù)了。4. 工具鏈與工程化模板庫要真正落地光有漂亮源碼不夠4.1 編譯期校驗(yàn)與靜態(tài)斷言把錯誤留在編譯期模板庫最大的痛點(diǎn)之一是錯誤信息晦澀。實(shí)例化失敗時編譯器有時只給一個十幾個模板層深的報錯新人基本看不明白。CATLASS的解法是在模板入口放置大量static_assert把形狀合法性、類型組合規(guī)則、對齊要求、Shared Memory大小上限等在編譯期就檢查完畢。例如TileShape的M/N維度必須能被WarpShape整除否則直接斷言失敗并輸出提示信息ElementAccum的字節(jié)數(shù)不能小于輸入類型的字節(jié)數(shù)防止累加精度丟失StageCount對應(yīng)的Shared Memory總量必須小于目標(biāo)架構(gòu)的Shared Memory上限。這些校驗(yàn)讓大部分錯誤在CI編譯階段就暴露而不是等到算子跑起來才發(fā)現(xiàn)數(shù)值不對或直接非法內(nèi)存訪問。寫static_assert還有一個隱藏好處它能倒逼模板設(shè)計(jì)者把“隱式約定”變成“顯式約束”。早期我們有一些模板組合依賴調(diào)用者遵循不成文的規(guī)則比如“K維度必須是16的倍數(shù)”“Shared Memory buffer數(shù)必須是2的冪”結(jié)果不同業(yè)務(wù)團(tuán)隊(duì)各寫各的約束經(jīng)常被打破。后來把這些規(guī)則全部落地成static_assert問題立刻少了大半。4.2 自動化基準(zhǔn)測試與性能回歸算子模板庫和普通業(yè)務(wù)代碼有一個本質(zhì)差別普通代碼只要邏輯正確就完成了大半目標(biāo)而算子模板庫必須把“性能正確性”當(dāng)作一等公民來對待。邏輯正確但性能差10倍的算子在業(yè)務(wù)上幾乎不可用。因此CATLASS配套了一套相對嚴(yán)格的基準(zhǔn)測試體系?;鶞?zhǔn)測試要做三件事正確性校驗(yàn)、性能采集、回歸比對。正確性校驗(yàn)使用CPU參考實(shí)現(xiàn)對每個模板實(shí)例生成隨機(jī)輸入和邊界case比如全零、全極小、K方向長度極小和極大比對輸出誤差。性能采集使用CUDA Event計(jì)時同時配合Nsight Compute的SM占用率、Shared Memory吞吐、指令吞吐等硬件計(jì)數(shù)器一同記錄?;貧w比對則是把每次提交的性能數(shù)據(jù)與基線庫中保存的歷史最優(yōu)值做對比性能下降超過容忍閾值就在CI中標(biāo)記失敗。這套體系剛上線時也遭過抵觸跑一批模板實(shí)例的benchmark要十幾分鐘CI耗時暴漲。后來我們做了分級提交級只編譯不跑benchmark夜間跑全量benchmark并生成趨勢報告。這樣既保證性能變化能被及時發(fā)現(xiàn)又不會拖慢日常開發(fā)節(jié)奏。4.3 自動調(diào)優(yōu)器讓模板組合在幾百個候選中找到最優(yōu)解模板庫雖然可以通過參數(shù)組合實(shí)現(xiàn)不同變體但人工遍歷所有組合不現(xiàn)實(shí)。舉例來說TileShape有5個候選WarpShape有8個候選StageCount有3個候選SchedulePolicy有4個候選排列組合就是480種每種跑一遍benchmark要好幾秒人力根本做不完。CATLASS落地了一個簡單的自動調(diào)優(yōu)器用貝葉斯優(yōu)化在參數(shù)空間里搜索最優(yōu)配置并將結(jié)果緩存到配置文件里運(yùn)行時通過hash后的shapeGpuModel索引直接查表。自動調(diào)優(yōu)器的設(shè)計(jì)原則是“離線調(diào)優(yōu)在線查表”。每次調(diào)優(yōu)的結(jié)果都會帶上GPU型號、驅(qū)動版本、計(jì)算庫版本作為上下文存入本地?cái)?shù)據(jù)庫。這樣即使換了機(jī)器或驅(qū)動也不會錯誤套用不匹配的參數(shù)。調(diào)優(yōu)器還考慮到不同業(yè)務(wù)場景對延遲和吞吐的偏好差異優(yōu)化目標(biāo)函數(shù)支持兩種模式一種是最小化延遲適合在線推理場景一種是最大化吞吐適合離線批處理場景。兩個模式搜索到的參數(shù)往往不同比如延遲優(yōu)先模式傾向于小tile加4級流水吞吐優(yōu)先模式則傾向于大tile加3級流水。5. 規(guī)劃短期痛點(diǎn)、中期能力、長期形態(tài)5.1 短期規(guī)劃補(bǔ)FP8、補(bǔ)齊稀疏和Attention算子先說內(nèi)部最急迫的幾個需求。FP8推理在業(yè)務(wù)側(cè)的呼聲越來越高論壇上關(guān)于FP8格式的討論密度也很高我們計(jì)劃在下一個版本讓CATLASS的GEMM模板完整支持E4M3和E5M2兩種FP8格式累加器仍用FP32權(quán)重和數(shù)據(jù)在送入kernel前完成quantize。表面上看只是多加一個Element類型實(shí)際上涉及Shared Memory的存儲密度、向量化加載寬度和NVLink傳輸時的位寬對齊等多個地方的調(diào)整工作量不小。稀疏算子是另一條線。我們計(jì)劃支持2:4結(jié)構(gòu)化稀疏的GEMM也就是每4個元素里只有2個非零的稀疏模式。CUTLASS已經(jīng)證明這種模式可以利用稀疏張量核心獲得接近2倍的算力提升但模板抽象要處理好“元數(shù)據(jù)布局”和“非零元素選取”兩層邏輯。我們的初步方案是參考CUTLASS的SparseTile設(shè)計(jì)但把元數(shù)據(jù)布局從類型參數(shù)中剝離出來留給業(yè)務(wù)側(cè)根據(jù)數(shù)據(jù)分布自行選擇。Attention算子的需求來自我們的LLM推理引擎。目前FlashAttention類kernel在長序列場景下效果很好但它是自成體系的獨(dú)立算子和CATLASS的模板體系互不相通。我們打算把a(bǔ)ttention的前向主循環(huán)抽象成“QK^T分塊乘、Softmax、PV分塊乘”三步分別復(fù)用CATLASS的GEMM主循環(huán)和epilogue機(jī)制。這個短期版本的目標(biāo)是能覆蓋主流attention變體性能達(dá)到FlashAttention-2的90%以上。5.2 中期規(guī)劃擴(kuò)展自動調(diào)優(yōu)能力和多平臺適配自動調(diào)優(yōu)器目前只能搜索有限幾個模板參數(shù)中期我們希望把優(yōu)化空間擴(kuò)展到“算法選擇”層面。比如同一個GEMM問題在A100上可能最適合wgmma路徑在上一代架構(gòu)上可能最適合simt路徑這兩條路徑在CATLASS內(nèi)部是兩套完全不同的主循環(huán)實(shí)現(xiàn)?,F(xiàn)階段選型的邏輯是硬編碼在調(diào)度器里的不夠靈活。我們計(jì)劃讓調(diào)優(yōu)器自動從“路徑”維度做選擇并引入離線訓(xùn)練的性能模型來預(yù)估在一個沒見過的新GPU型號上的最優(yōu)配置。多平臺適配也在規(guī)劃中。AMD的ROCm平臺、intel的oneAPI平臺在我們客戶的機(jī)器上有現(xiàn)實(shí)需求。模板庫的一個天然優(yōu)勢是核心邏輯只依賴并行編程模型語義理論上可以通過封裝層適配到不同后端。當(dāng)然真正落到代碼上cp.async、wgmma這些指令在不同后端上的對應(yīng)實(shí)現(xiàn)差異巨大不可能完全無縫遷移。我們的思路是保持CATLASS上層API不變下層把平臺相關(guān)指令封裝成Backend接口先實(shí)現(xiàn)HIP后端驗(yàn)證可行性。這里也提醒一句多平臺適配的投入產(chǎn)出比需要謹(jǐn)慎評估。如果目標(biāo)平臺的業(yè)務(wù)量不大硬適配的成本可能遠(yuǎn)大于收益不如直接讓CUDA版本跑在一個兼容層上。5.3 長期形態(tài)向開源生態(tài)靠攏同時保持內(nèi)部定制能力內(nèi)部庫最大的風(fēng)險是封閉導(dǎo)致衰退。CATLASS長期規(guī)劃中的一項(xiàng)核心動作是選擇一個合適的時機(jī)把核心模板層的代碼清理后開源。開源的目的不只是回饋社區(qū)更現(xiàn)實(shí)的意義是能引入外部貢獻(xiàn)者的review和測試擴(kuò)大benchmark覆蓋面和硬件適配范圍。一旦開源我們會在源碼層面明確區(qū)分“核心可移植層”和“內(nèi)部定制層”核心層由社區(qū)共同維護(hù)定制層保留在我們的私有分支上。從另一個角度看模板庫的長期生命力取決于“表達(dá)力”。現(xiàn)在只能描述GEMM-like算子長期我們希望CATLASS能描述更廣泛的算子拓?fù)浔热缍噍斎攵噍敵龅膹?fù)雜算子組合。這會觸及模板元編程的表達(dá)邊界我們也在觀察C20的concepts和編譯期反射P2996提案等能否降低這方面的抽象成本。如果標(biāo)準(zhǔn)落地順利CATLASS的類層次和約束檢查會有一次重構(gòu)機(jī)會。6. 避坑指南與經(jīng)驗(yàn)之談做算子模板庫這件事本身比想象的難6.1 團(tuán)隊(duì)協(xié)作中最容易翻車的3個點(diǎn)算子模板庫的開發(fā)和普通應(yīng)用開發(fā)對團(tuán)隊(duì)能力的要求完全不同。我復(fù)盤下來最容易翻車的點(diǎn)集中在下面三個地方。第一模板抽象失控。有位同事曾經(jīng)把調(diào)度策略設(shè)計(jì)成一整套泛型方案每個warp的調(diào)度狀態(tài)用類型組合描述代碼確實(shí)優(yōu)雅但實(shí)例化后編譯一個kernel要5分鐘報錯信息長達(dá)三百行沒人改得動。后來我們定了一條硬性規(guī)定每個模板新增前必須寫清“它替調(diào)用者解決了什么問題”如果回答不上來就不允許進(jìn)主干。這條規(guī)定其實(shí)來自CTO的一句玩笑話“模板參數(shù)的多少和代碼作者對這問題的理解程度成反比?!钡诙阅芑貧w被忽視。算子庫最容易被盯上的指標(biāo)是單算子性能但一旦模板被很多業(yè)務(wù)復(fù)用一個基礎(chǔ)類型的小改動會影響所有上層算子。曾經(jīng)有一次修改了Shared Memory的Swizzle函數(shù)單獨(dú)測新算子是提升的但老算子的吞吐普遍掉了5%。當(dāng)時沒有性能基準(zhǔn)門禁問題上線兩周后才被發(fā)現(xiàn)?,F(xiàn)在我們已經(jīng)強(qiáng)制所有改動必須在未做benchmark的情況下合入。第三文檔和實(shí)例代碼跟不上。模板庫的“API可發(fā)現(xiàn)性”天然比普通代碼庫差最好最實(shí)用的“文檔”其實(shí)是cookbook式的示例程序。我們?yōu)榇司S護(hù)了一個examples目錄每個示例對應(yīng)一個真實(shí)業(yè)務(wù)場景比如“動態(tài)shape場景下的GEMM調(diào)用方式”、“融合LayerNorm的推理算子”。每次模板接口變更examples必須同步更新這條規(guī)則雖然簡單但非常有效。6.2 一些“反直覺”但真實(shí)有效的細(xì)節(jié)有幾個細(xì)節(jié)是在多次調(diào)優(yōu)中發(fā)現(xiàn)的看起來反直覺但對最終性能影響很大。一個是用__launch_bounds__控制kernel的寄存器上限時數(shù)值上不要卡在編譯器的臨界值。比如某個kernel自然編譯需要96個寄存器設(shè)置__launch_bounds__(256)表示最多允許256個線程/塊編譯器會把寄存器限制在64個以內(nèi)這會導(dǎo)致溢出。反而設(shè)置__launch_bounds__(192)讓編譯器有96個寄存器的余量雖然occupancy低了一些但性能反而更高。經(jīng)驗(yàn)法則是不要一味追求高occupancy而是要在Registers Per Thread和Occupancy之間找到實(shí)際運(yùn)行最快的平衡點(diǎn)。另一個是主循環(huán)的#pragma unroll不是越高越好。#pragma unroll 8和#pragma unroll 4的性能在某些shape上差異明顯但同一份kernel在A100和H100上的最優(yōu)unroll數(shù)不同。自動調(diào)優(yōu)器除了搜Tile參數(shù)也會把unroll factor作為候選參數(shù)一起搜索。還有一點(diǎn)是關(guān)于L2 Cache的利用。GEMM的A矩陣和B矩陣在全局內(nèi)存里的布局對L2命中率影響很大。把A和B按tile順序做一次重排blocked layout后L2命中率能提高10%到20%。這個優(yōu)化只改數(shù)據(jù)布局不改kernel代碼性價比極高。我們的GemmHost接口默認(rèn)會做這一步但允許業(yè)務(wù)側(cè)通過參數(shù)關(guān)閉以節(jié)省預(yù)處理時間。6.3 常見的錯誤解析與排查思路很多新手在集成CATLASS時遇到“kernel不work”之類的問題這里列幾個高頻case和排查思路按出現(xiàn)頻率排序。第一個是數(shù)據(jù)類型不匹配導(dǎo)致的計(jì)算錯誤。比如用BF16輸入但累加器誤設(shè)成half在數(shù)值上不會報錯但精度誤差很容易在幾十步迭代后放大。排查時優(yōu)先打印累加器類型的sizeof再對比輸入類型的數(shù)值范圍。第二個是Shared Memory分配超出上限。這個問題在換GPU型號后最容易出現(xiàn)。排查方法是查啟動時的cudaFuncAttributes.sharedSizeBytes如果超過目標(biāo)卡的限制編譯期不會報錯運(yùn)行時會直接啟動失敗。我們的模板里對SharedMemory占用做了static_assert至少能把問題定位到模板參數(shù)上。第三個是Bank Conflict導(dǎo)致的性能異常它不會報錯只是變慢。判斷方法是用Nsight Compute看Shared Memory Conflict計(jì)數(shù)器如果每周期沖突次數(shù)明顯高于預(yù)期就去檢查Swizzle函數(shù)和Padding是否生效。我們遇到過把Swizzle函數(shù)寫成了“對某些地址是映射到相同bank”的case排查時盯計(jì)數(shù)器指標(biāo)會高效很多。第四個是流水線同步問題表現(xiàn)為“偶爾出錯、偶爾正?!?。這類問題最難排查因?yàn)榭赡芘c驅(qū)動調(diào)度、內(nèi)核啟動參數(shù)有關(guān)。我們的經(jīng)驗(yàn)是先做最小化復(fù)現(xiàn)固定一個shape和一組模板參數(shù)反復(fù)跑幾百次然后添加?xùn)艡诖蛴£P(guān)鍵buffer的校驗(yàn)和縮小問題范圍。大多數(shù)情況下最后定位到cp.async的wait批次計(jì)數(shù)錯誤而不是底層的硬件問題。7. 后續(xù)還可以怎么做從模板庫到算子生態(tài)最后聊一點(diǎn)我個人在維護(hù)CATLASS過程中的體會。算子模板庫這件事最難的不是寫出一個性能出色的kernel而是設(shè)計(jì)出一套“能在不同業(yè)務(wù)、不同硬件、不同需求之間穩(wěn)定復(fù)用”的抽象層。這條路走到現(xiàn)在我們最大的收獲不是那幾萬行模板代碼而是踩坑后沉淀下來的判斷力什么時候該用泛型去抽象什么時候該簡單堆代碼解決問題。如果你也在做類似的方向我的建議是先從業(yè)務(wù)側(cè)最高頻的10個算子入手把它們的手寫實(shí)現(xiàn)抽成可參數(shù)化的模板不要一開始就追求CUTLASS那種大而全的設(shè)計(jì)。模板庫是在反復(fù)迭代中慢慢長出來的不是一次設(shè)計(jì)出來的。等你的模板參數(shù)開始能覆蓋新出現(xiàn)的需求而不需要改底層時你才算真正摸到了門道。CATLASS目前還在持續(xù)演進(jìn)。最近我決定把自動調(diào)優(yōu)器的搜索結(jié)果做成一版可視化報表方便業(yè)務(wù)團(tuán)隊(duì)直接看懂每個配置在什么場景下最優(yōu)。再往后我希望CATLASS能和部署側(cè)打通讓訓(xùn)練腳本里用到的算子形狀能自動映射到調(diào)優(yōu)器產(chǎn)出的最佳配置上真正做到“從模型定義到高性能算子”的端到端自動化。這條路還很長但方向是對的。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
操91| 白嫩国模丰满一二三区| 蜜桃AV天堂| 天天操女人| 亚欧视频在线| 久久久久夜夜夜夜| 欧美影音在线| 四月丁香婷婷| 亚洲aV性爱| 国产成人五月天丁香花| 少妇激情AV| 亚洲一曲日韩精品| 狠狠躁日日躁夜夜躁A| 97干在线| av凤凰久久久| 人人看人人插| 日韩精品午夜操呦呦不卡影院| 国产夜夜操| 九九久久综合| 黑人狂躁日本妞一区二区三区| 夜色97| 精品婷婷| 后入式福利| 日韩99神马视频播放| 婷婷激情五月| 丁香婷婷啪啪| 三级色综合| 人妻丝袜一区二区三区在线| 日韩八十路老熟女| 在线观看A啊啊啊| 免费人成毛片乱码| 酒色综合网| 91N欧美| 国产AV超爽| 99re国产精品视频| 无码黑人精品一区二区三区三| 加勒比综合| 96一区二区三区| 91影视亚洲| 韩国女主播青草福利视频| 乱论91| 婷婷去俺也去六月色| 午夜精品久久久久久久| 97资源免费视频| 国产熟女免费观看久久| 九九九九免费高| 青青国产精品在线| 久久av成人无码免费| 国产肏逼网站| 国产精品丝袜久久亚洲不卡| 久久仑合| 日韩天天本| av麻豆啪啪| 暴力av在线| 好一吊区二区| 人妻欧美| 欧美组图日韩亚洲中文字幕| 亚洲色欧美| 亚洲少妇视频| 亚洲精品久久久久久久久豆丁网| 色蜜AV| 97九色人妻| 99天堂网| 欧美色一二三| 99少妇| 亚洲色婷婷久久91| 男女性感激情网站| 曰韩av中文字幕专区| 97国产成人精品免费视频| 亚洲啪啪视频一区二区| 九九久久久九九| 韩国三级理论在线| 99激情视频| 偷拍网站久久男女男| 天天干少妇| 69精品人人人人| 久久夜夜夜夜| 亚洲区限制级| 天天天肏屄肏屄肏屄欧美欧美| 日韩AV色图| 福利在线视频一区二区| 综合色好色| 黑人美精品 A片| 丁香五月天激情综合| 亚洲欧美九九| 亚洲交换| 国产久久成人| av亚欧| 欧美视频在线第3页| 免费视频一二三区| 国产AV色黄看到爽| 日韩人体偷拍| 大香蕉性欧美| 自拍偷拍 高清无码| 亚洲天堂区| 国精综合一二三区影视| 91观看 国产白丝| 人人玩人人添人人澡免费| 美女久久久| 人妻激情偷乱视频一区二区三区 | 一本久道久久综合狠狠爱一密臀精 | 国产吹潮女在线观看| 五月天亚洲色图| 综合欧美日本三级| 久草男人天堂| 日本性爱视频一级| 欧美日韩啪啪电影| 国产精品久久久亚洲一区| 风月影院男女十八禁| 肏逼视频日本| 长久操视频| 99re综合伊人| 丝袜狠狠草尤物 91| 国产激情在线| 蜜桃臀久久| 黄色片,com| 九月AV| 欧美双插| 欧美色就是色| 久久婷综合| 欧美精品,四区。五区| 亚洲av成人精品一区| 99精品久久久久久久婷婷蜜桃| 91性感网站| 亚洲国产av中文字幕久久| 92性色国产午夜福利在线661| 嗯嗯啊啊的视频| 久久久性少妇| 免费中文在线| 色老大| 91超级碰碰| 婷婷五月天_亚洲小说欧美激情另类_精品久久国产字幕 | 国产av强奸美女| 三级日韩一区二区三区| 九九综合九九综合| 密臀在线免费观看| 操操逼视频| 91精品久久久| 一区二区三区蜜桃成人撸久久东京热| 无码视频一区二区| 尤物网址| 情色五月天就去干| 激情五月综合| 国内外内射高清视频| 色色国产| A一区片| 欧美 中文字幕 一区| 91丝袜在线观看| 九九九九九九九| 五月丁香六月激情综合| 久区视频| 精品久久久久9999| 天天看,天天做| 人人模人人看| 天天综合站| 91日韩在线| 国产综合色精品在线观看| 99在线观看无大码| 国产性刺激| www.婷婷五月天| 狠狠入| 台湾佬中文娱乐自偷自拍| 人妻中文字幕精品无码| 欧美图片校园春色| 天天干天天日天天射黄色大片| 亚洲午夜福利在线影院| 日本人妻最新在线中| 久久一本大香蕉| 无码色| 操操逼操操逼操操逼逼| 欧美精品宗合| 国模精品娜娜一二三区| 老女人综合| 亚洲综合贴图91| 蜜桃视频一区二区三区在线观看| 蜜乳av首页| 久久日韩精品一区二区| 97亚洲精品超碰| 久久久久久中文版| 美女人妻色网站| 十八禁成人网站在线观看| 蜜臀99久久精品久久久懂爱| 青操影院| 日日夜夜青青草母狗| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 欧美性天天| 青青久久久| 97干天天| 精品久久久久黄少妇| 日韩乱伦影音先锋| 草莓精品视频| 国模无码人体一区二区三| 96一区二区三区| 亚洲天堂日本| 日韩欧美偷拍美女视频| 麻豆精品A片免费观看| 欧美极品女人的天堂| 成人婷婷丁香| 日本久操视频| 神马视频久久久久久| 91丨九色丨国产打屁股| 国模精品一区二区三区苹果色戒| 国产精品岛国片在线观看| 国产av又色又爽又黄| 国产午夜精品理论片a大结局| 97爱综合| 欧美综合国产精品久久丁香| 台湾一区国产高清在线| 日韩97| 女沟厕偷窥piss小便| 国产成人亚洲精品无| 九九九九九九精品| 日日躁夜夜躁狠狠躁超爽| 色综合大香蕉| …亚洲黄色厕厕女女在线播…| 日韩人人精品| 久久久久96| 99最新日韩偷拍视频| 激情人妻另类| 亚洲精品国产拍免费91在线| 人爽不卡视频| 狠狠亚洲| 96精品久久久久久久久久| 中文字幕欧洲有码| 超碰69| 国产成人+综合亚洲+天堂| Julia在线播放亚洲久久| 一品道视频一区二区三区| 97超碰国产亚洲精品资源| 成人AV素股で擦久久| 97午夜剧场日韩| 干B| 欧美 综合 亚洲| 成人资源中文字幕在线观看| 午夜精品久久久| 欧美综合娱乐久久| 一块操欧美性爱| 五月天成人综合| 国产AV人人 夜夜人人澡| 丰满精品人妻少妇久久字幕| 91爱欧美| 超碰 av 女人天堂| 啊啊啊用力在线观看| 91熟女在线| 欧美宗合网| 亚洲欧美变态| wwe 天天干.com| 国产精品不卡一区二区三区av| 麻豆AV96熟妇人妻| 亚洲精品官网在线观看| 深喉吞精| 国产60区。| 久久综合资源一区二区| 超碰超碰超碰超碰的大鸡吧操黑丝袜 | 伊人伊人LD| 综合色久欲| 金典av| 免费av高清无码| 久久系列| 国产天天骚| 97人人夜夜精品视频| 青操影院| 日本免费一区二| 人人人人插| 一二三区精品视频| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 97这里只有精品| 99天天超碰| 成人网址在线观看| 内射小黄片| av橘色网站| 一区,二区,三区网站| 国产操操日韩三级黄| 青青草色AV| 欧美色66| 亚洲美乱| 婷婷激情五月天小说网| 男啪女色黄无遮挡免费观看| 青青草中出视频 | 久久久精品中文字幕爱豆| 日韩人人精品| 伊人久久大香线综合无码| 91麻豆va国产精品| 成人性爱免费播放| 午夜传煤十二区精品| 日韩人妻精品中文字幕| 日本三级韩三级99久久| 亚洲二区精品在线观看| 嗯嗯啊好大| 99在线免费视频| 色汉综合| 自拍丝袜美腿人妻| 五月综合激情网| 人妻 丝袜美腿 中文字幕| 啊啊啊爽爽| 蜜桃臀一区二区aV| 欧美72网页| 亚洲激情网一二三四区| 另类 日韩 熟女| 综合亚洲欧美精品日韩?v| 日韩精品亚洲一二三| 精品一久久久| JULIA人妻风俗店中出电影| 少妇滛荡视频| 久久激情亚洲精品无码?V| 国产在线观看一区二区三区| 爽爽爽免费视频| 99热导航| 五月天色图影视| 91快色色色色色| 成人一二| 亚洲欧美另类图片| 国内精品99999| 97超碰精品成| 欧亚成人在线视频| 91性生活久久久| 久操视频免费在线观看| 激情五月婷| 欧美丰满熟妇XXXX性ppX人交| 91精品久久久| 亚洲无码超碰免费| 最新亚洲黄色免费电影| 极品销魂美女一区二区| 日本高清视频在线观看黄已三辽| 日韩精品大香蕉伊人在线| 嗯嗯嗯啊啊啊操的我好爽| 五月天婷婷影院| 999国产精品999| 国产强上视频在线观看| 精品国产乱码| 百度百度日本操逼| 久久69| 精品78| 欧美日韩久久精品爱爱| 97色操| 性高潮久久久| 秘书高跟黑色丝袜国产91在线| 天天拍天| 国产AB视频| 熟女自慰久久久| 超碰 另类 欧美| 在线天堂999| 精品人妻二区三区| 国产精品久久发布| 91日日| 大香蕉伊人在线成人AV在线观看| 九九九九日本 | 国产情色第一第二页在线观看| 欧美日韩婷婷中文| 国产一区二区三区,在线观看观看 五月开心久久AV官网 | 丁香五月大香蕉| 狠狠穞A片一區二區三區| 超碰九色| 亚洲av夫妻操穴网| 欧美专利1区2区3区4区5区免费| 任你艹| 95人妻爽爽人人做人人澡| 69人妻精品一区二区绯色| 日韩AV片| 日本精品人妻少妇一区二区| 在线综合 亚洲 欧美中文字幕 | 99re免费| 欧美伊人久久综合网| 国产极品精品美女视频| 操逼片中文| 日本在线视频导航| 五月丁香色综合| 97超碰69| 日韩精品9999| 中文字幕无码不卡啪啪| 久久高潮妇女视频| 欧美18老人禁| 狠狠色噜噜狠狠狠狠狠色综合久久 | 蜜臀99久久国产| 精品人妻久久久久一区二区三区| 伊人91| 国产无码精品久久久久久| 看免费的黄片| 秋霞一级视频在线观看免费| 综合色色婷婷| 日本三级久| 亚洲A色| 成人欧美日超碰| 少妇丝袜在线观看AV| 老鸭窝成人| 97爱综合| 国产高清免费不卡av| 午夜120视频在线观看| 日韩精品中文字幕二区| 天天干天天操天天拍| 韩国女主播青草在线| 中文字幕综合人妻| 欧成人精品一区二区三区| 99精品国产户外露出| 一本久道在线综合视频| 国产成人网站在线观看| 久热久一区二区三区| 999 久久久| 天天天干977| 亚洲码在线中文在线观看| 国产操偷| 久久久久久夜夜夜夜夜| 久久久噜噜噜久久人妻| 欧美牲| 亚洲成人av电影在线| 被体育老师抱着c到高潮| 可以看的av| 黄色大片一区二区密桃丝袜| 久久亚洲色图中文字幕| 亚洲欧美黄| 国产精品人妻熟女aⅴ| 婷婷精品视频| 自拍二页| 亚洲 欧美 色图| 精品人体无圣光凹凸| 99热在线播放| 伊人久久亚洲色欲综合网站| 91精品人妻偷情| 爽 好舒服 无码刺激久久| 亚欧美天堂在线| 国产av色网| 日韩 国产 欧美自拍| 亚洲精品乱码久久久久久蜜桃麻豆| 亚洲精品色| 中文字幕乱偷人妻久久艾草网| 成人国产二区三区在线,男女精品。| 久久久久久久九九九九九九| 激情综合网五月婷婷| 久草资源欧美在线视频| 九九热精品视频六| 淫荡少妇免费| 久久一二三级一一一| 色香91| 日韩av在线精品观看| 啊视频在线| 久久鲁夜| 亚洲色图欧美色图另类图片| 成人福利视频网| 97干色天堂| 啊啊啊好大好深| 郑州宾馆老熟女露脸啪啪| 北条麻妃99精品青青久久| 久久超碰天天| 操高情无码| 青青草视频在线观看一区二区| 国产精品日日摸天天碰| 亚洲精品a人片在线观看视| 亚洲 se图 欧美电影| 欧洲人妻视频| 九九综合久久| 欧美草草| 曰本人妻人人澡人人夹| 自拍欧美| 国产兽交视频在线播放| 天天综合~91入口| 91天美免费| 国产区性爱在线视频秋霞豆| 亚洲AV不卡在线观看尤物| 国产午夜在线观看| 少妇高潮99p| 亚洲AV色图一区| 国产专区第一页| 日本天堂网| 欧美色图20p| 操逼网免费无码视频| 亚洲天天影视色综合| 日本潮催一卡操| 亚洲 图片 综合91| 亚洲男人天堂av| 天天操综合网| 97免费在线观看| 婷婷亚洲天堂| 中国熟妇| 深爱五月婷婷| 五月天婷婷社区| 国产激情在线观看| 校园春色美腿丝袜| 亚洲五月婷| 视频黄色国产一级| 97香蕉网| 青青草视频久久| 99中文字幕| 99免费视频| 国产精品爆乳懂色蜜乳| 五月天综合在线| 亚洲校园激情| 日韩久久激情精品| 亚洲中文丝袜美腿诱惑字幕| 久久激情网| 亚洲色图片区| 久操大香蕉手机视频在线看 | 在线电影亚洲色图| 九九性爱网| 色原狠狠天天天| 亚洲AV免费在线| 啊啊啊啊免费视频| 国产日本熟女顶级一区二区三区视频| 国产女大学生AV| 日本中文字幕高跟| 高清无码一区二区三区| 色香伊人| AAA久久| 超碰99re| 青青草日逼视频| 岛国黄片网站| 亚洲 欧美 小说| 国产一区二区a毛片| 欧美熟妇亚洲版| 操逼逼福利视频| 日韩欧美麻豆 | 国产少妇肉丝在线观看| 91美女视频| 黄色高清久久无码依人| 亚州操逼图| 亚洲AV人人澡人人爱| 久久HD| 精品久久久久久久| 91久久久视| 国产欧美日韩精品中文| 91n处女在线观看| 97AV爱| 在线岛| 夜夜骑日日| 日本污ww视频网站| 国内毛片欧美香蕉精品| 伦理日韩国产久久| 亚洲午夜免费狠狠干| 亚洲另类欧美精品| 人人摸人人舔一区二区| 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 国产精品原创巨作?v网站| 亚洲色情在线影视| 99亚洲精品| 97色伦97色伦国产欧美| 欧美综合传媒| 嗯嗯嗯嗯啊啊啊好紧好大| 国产美女裸体秘 永久无遮挡| 男人的天堂无码| 欧美一级三级| 欧美性爱无码一区二区三区| 欧美人妖内射| 91色爽欧美| 精品亚洲国产成人AV制服丝袜| 蜜臀中文字幕| 青青草久草AV| 97中文天堂| 国产高清26uuu| 91麻豆天美传媒在线| 伊人国产视频| 天天干,夜夜爽| 欧美日韩不卡a片| 91bbbbbb| 五毛骚逼极品美女怕怕| 天综合中文| 凹凸视频在线观看伊人| 78久久| 黑人精品成人一区二区三区 | 成人久久久| 欧美一区二区三区黄色影视| 国产免费一区二区三区最新不卡| 免费精品人妻一区二区三| 97超碰欧美精品| 欧美 牲| 久久婷婷一区二| 近亲乱伦一区二区| 国语对白露脸XXXXXX| 五月天AV资源| 日本熟人妻中文字幕在线|...久久国产精品-国产精品_日本一区二区三区中文字幕 | 91jk色拍| 亚洲AV成人无码一区二区三区在线观看| 香蕉国产精品麻豆亚洲欧美日韩| 亚洲精品熟妇1区2区3区。| 操b网站亚洲无码| 欧美综合站| 成人免费福利网站国产| 一级AV性爱| 久久 精品| 欧美综合自拍亚洲综合图| 射欧美综合| 亚洲成人av色网| 999岛国大片| 熟女乱伦A| 色哟哟 日韩精品| 色淫网站优优视频| 91亚.色| 欧美无圣光在线| 成人综合色网| a网站免费观看| 亚洲砖码砖专无区2023| 黄色片,com| 国内毛片欧美香蕉精品| 亚洲久久久| 亚州高清av| 91天天爱| 日韩激情视频| 97人人中文网| 人人喜人人妻| 26uuu欧美日韩| 秋霞影音一区二区三区| 久久久久久网址| 国产精品伦理| 九九九久| 毛片麻豆91糖心精品毛情片| 白 大 人妻 区 在线| 亚洲s在线观看| 97天天摸天天碰| 成人电影一区| 天天躁日日躁AAAXX| 国语精品内射在线观看| 91精品女厕偷拍视频| 亚洲国产成人7777| 婷婷伊人五月| 女性喷水高潮在线观看| 91夜色| 国产熟妇 码视频户外直播 | 久久久久99999| 婷婷人妻激情| 久久大香蕉97| 国内一级精品| 97视频在线观看免费高清| 性感美女91影视| 91天天综合在线| 深夜激情 | 日本 成 人 小说 电影 一区二区| 91操碰| 亚洲精品男人的天堂| 国产激情久久久| 天天综合精品| 天美麻豆精品视频99| 亚州精品一区二区三区香中文字幕在线| 九九久久99| 婷婷激情四射| 色妹子A V| 青青草日逼视频| 色女99一级片在线观看| 操逼精品视频| 欧美日韩亚洲五月天婷婷| 欧美色图 人妻| 91精品久久久久久77777| 职场同事知名国产国产精品久久欧美日韩 | 国语对白在线播放视频| 91精品久久综合熟女| 欧美做爰无码A片视频| 久色网| www.zbzhongsen.com| 亚洲天堂,男人| 伊人久久88国产女| 大香蕉伊人一区在线观看| 欧洲精品在线播放| 色综合超碰超| 国产一区二区精品久久久不卡蜜臀| 青青草依人大香蕉| 国产农村妇女精品| 尹人免费观看视频在线| 男人天堂黄片| 亚洲操人| 久久久精品日本一道| 国产白嫩精品久久| 91路www| 91美女视频。| 人妻精品视频一区二区三区 | 国产无码精品无码| 国产精品久久久久久照片| 国产 日韩,欧美 自拍| 国产18精品亚洲精品| 国产激情在线| 国产又粗又又黄又猛| 小泽玛利亚一二三| 亚洲 欧美 另类 日韩 人妻一区| 日1区2区3区2020| 超碰九九| 亚洲本色精品一区二区久久| 日本性交操一区二区不卡系列| 日韩乱伦影音先锋| 亚洲操操| 91撸色网 玖玖网 欧美| 亚洲男人天堂视频| 日本一二区不卡| 加勒比在线观看一区二区| 色官网在线| 日韩伦理久 久久 清纯| 久久骚| 密臀在线视频| 一级岛国大片| 超碰人人干| 夜夜嗨AV蜜臀av| 亚洲大色鬼| 青草综合| 东亚亚洲无码高清| 亚洲。日韩。欧美| 亚洲综合大片| 午夜操一操| 国产成人亚洲精品无码古代早漏男| 中文字幕在线日亚州9| 性欧美体内射精| 亚洲日韩天堂| 久久这里都是精品| 性爱AV天堂| 国产精品农村妇女| www.伪伪| 人妻啊啊人妻啊| 五月婷婷激情综合| 精品少妇999| 99热99在线播放激情| 六月丁香网| 亚州熟妇精品| 天天射夜夜操| 国产视频一区二区免费| 在线观看免费视频国产| 男人天堂最新手机版在线青青草| 少妇久久久| 久久久久国产精品片区无码直播| 久久五月份| 视频二区熟女人妻| yw尤物av无码点击进入麻豆| 极品极品色影院| 欧美天天| 91老妇女| 国产成人自拍视频视频| 91操人| 97内射偷拍| 久久线上视频免费看| 中国大陆国产高清AⅤ毛片| 久九九九九九九热| 九九九九精| 一级性爱aaaa| 91视频综合在线| 日韩成人精品| 99在线精品视频| 伊人嫩草| 无码操逼网| 欧美性区| 九九九久久久| 狠狠操狠狠插| 欧美91色| 在线观看成人性爱免费小视频| 久热久一区二区三区| 欧美亚洲首页| 静品嫩模一区二区| 99re在线视频国产| 国产精品毛片?v一区二区三区| 亚洲人精| 国产精品久久久久久久久久久久久久| 久久精品色欧美aⅴ一区二区| 国产美女激情| 日韩操逼性鲍| 天天摸夜夜摸| 永久免费观看的毛片的网站| 中文字幕一区av| 精品人妻一区二区三区四区| 欧美成人午夜免费福利785| 天堂网 主播 亚洲| 国产毛片在线| 麻豆一区在线| 九九精品99| 99国产精品免费| 青青免费在线视频一区| 欧美综合色站| 日韩有码 一区二区三区| 九九视品黄色| 蜜臀久久99精品久久久久久婷婷| 激情五月综合| 99中文字幕| 爱爱60秒免费视频| 蜜臀99久久精品久久久懂爱| 综合网,亚洲,欧美| 亚洲无码电影久久久| 爱欲AV| 亚洲欧美国产中文视频| 97欧美精品综合| 超碰在线人妻中文字幕| 嗯嗯,好大,好爽,好骚| 久久久久久国产成人| baiduhicn.com。| 国产探花精品在线| 大但人体久久久久| 97人人干人人操| 高清无码久操视频| 亚洲综合图色在线| 免费日韩黄片| 九九九九免费视频| 国产精品自在自拍视频| 91日韩国产欧美亚洲另类精盘州至城都| asc国产精品| 99久久综合网| 久久粉色| 亚洲精品一二三四区| 韩美日操逼| 国产地址二三| 精品性爱一区二区| 日逼97| 久久黄色网址| 亚洲好看强奸乱伦| 91女优在线观看| 五月婷婷丁香| 欧美性色欧美| 欧洲射精91| 3d成人精品一区二区| 亚欧美综合| 亚洲色鬼| 亚洲精品国产无码高清| 国产吹潮女在线观看| 2024人人操人人摸| 欧美第一页| 欧洲与亚洲欧美精品中文字幕| 国产一区二区三区导航| 久九九九九九九九热| 中文字幕91综合| 亚洲 日本 国产 综合| 性生活性生大爱77AV国产| 免费观看欧美日韩操逼视频| 亚洲黄片免费在线播放| 午夜精品久久久久| 日韩乱插| 很很操在线| 美女91av| 欧美色棕合| 国产精品久久久久久久AV大片 | 国产精品suv一区| 自拍偷拍2025在线观看| 欧美少妇色图| 亚欧美综合网。| 噜噜在线| 久久综合国产精品国产| 校园春色 亚洲| 绯色AV粉色AV蜜臀AV| 网页导航五月天免费一二三区| 免费视频一二三区| 伊人久久国产免费观看视频| 91成人久久| 欧美色图 色综合图| 嗯嗯,好大,好爽,好骚| 国产精品成人在线| 日韩欧美操逼xxx| 中文字幕1区2区| 安徽熟妇视频| 激情六月婷婷| 国产亚洲精品A在线观看下载| 亚洲天堂少妇| 男人天堂日日夜夜| 日韩啪啪网| 日日日日做夜夜夜夜无码| 九久久九九久视频| 久久草视频污视频| 欧美少妇熟女| 国产亚洲精品第一最新| 激情小说图片亚洲首页| 就去色综合| 东北女人操比视频| 91在线页| 久久久久国产无av| 琪琪精品免费一区二区三区| 欧美激情专区| 超碰中文字幕人妻草一区| 9九九九九视频在线观看| 国产色精品午夜大片| 亲子敌伦对白在线播放| 97超碰伊人| 日日A∨| 天天综合~91入口| 很很热性爱视频| 成人无遮挡毛片免费看| 狠狠爱夜夜| 亚洲精品不卡一二三区| 欧美一区二区情色| 欧美日韩91| 顶级丝袜熟女一区二区三区 | 亚洲国产青青| 婷婷色香| 97久久久久久久精| 91free福利| 精品国产人成在线| 久草精品国产99| 少妇被玩视频二三区| 熟妇高潮一区二区免费视频| 国产综合操逼高清| 激情小说成人日本无码一| 天天看天天日天天操| 99超碰碰| 日韩中文字幕精品一二三事国产精品| 日日A∨| 亚洲一区二区av| 97超碰精品成| 精品十三区| 蜜桃精品一区二区三区ww| 一本道综合色图| 3p国产欧美99热| 看一级特黄a大一片| 国产精品一二三区18| 亚洲天堂男人的天堂| 欧美97网| 97人人夜| 四虎精品亚洲| 天天爱综合网| 热的中文 热的有码 热的国产| 亚洲日韩青青草色月| 清纯唯美激情四射| 色婷婷久久| 国产97色在线| 欧洲熟妇xxXx欧美老妇裸体| 中国一区二区亚洲人妻| 老熟妇一区二区三区…| 操逼逼一区视频| 肏逼福利网站| 老熟女乱伦片| 久久久久9999| 在线亚洲欧美| 视频不卡中文字幕| 福利视频合集| 日夜伊人网| 色欧洲| 97超碰色色| 亚州一区二区| 天天色图| 白嫩少妇| 综合亚洲欧美精品日韩?v| 欧美性爽xyxOOOO| 国产在线综合福利网站| 老熟女乱伦片| a片 xxxx受爽视频| 乱伦熟女专区| 成人日韩3| 久久久久人妻二区精品叶可怜| 免费一级性爱久久| 亚洲国产ⅴ高清在线观看| 久久综合亚洲色1080p| 国产亚洲性生活视频播放| 操操操五月天婷婷丁香影院| 日韩欧洲操屄视频| 无码高清操逼网址| 国产野战露脸在线播放| 亚洲制服aⅴ中文字幕| 乱伦Av网| 国模精品一区二区三区苹果色戒| 天天躁日日躁XXXXYY| 亚洲aV无码成人在线观看| 高清国产av无码| 97人人干| 成人综合色网| 美女在线H91| 久九干| 在线视频一区二区传媒| 另类图片亚洲加勒比另类图片亚洲加勒比另类图片亚洲加勒比 | 五月天婷婷久久| 伊人亚洲国产一成人久久精品,久久| 国产11页| 在线视频一区二区传媒| 中文字幕文字幕无码一区二区三区电影99| 后入式视频国产自| 久久伊人东京热| 屁股久久久久久久久久| 欧美18 在线观看| 成人三一级一片aaa| 国产呦精品一区二区三区下载| 另类视频在线| 亚洲中文字幕妇伦久久| 日欧毛片久久| 精品国产乱码久久久久久久久久毛片| 97资源站日韩| 精品高清av中文字幕| 51一区二区三区| 综合激情五月丁香| 快点操死我| 欧美97视频| 亚洲人码13| 四虎AV在线播放| 国产在线能看的你懂的| 色黄色美女大长腿午夜视频| www色日本| 97色冈| 无码heyzo高清一区| 丁香五月天啪啪| 久久99国产综合精品女同| 丝袜狠狠草尤物人妻av91| 91欧美综合在线| 97视频播放| 欧美一区二区福利在线| 国产精品老师| 天天干天天日天天射黄色| av久日| 精品黄色电影| 多毛小伙内射老太婆 | 啊啊啊操一区| 九九九九九用不成了| 日本顶级天天操狠狠操夜夜操中文字幕| 99少妇内射| 国内精品久久人妻性色av| 国产伦乱91| 女一区二区| 日韩欧美麻豆 | 狠狠色五月亚洲91| 日本性爱视频一级| 亚洲国产欧美中文永久| 性欧美体内射精| 调教熟妇 久久久久久| 久久爽爽精品| 91精品人妻一区二区三区蜜臀| 思思视频免费看网站| 人妻-91porn| 久久久久久久78| 中文字幕国产| 巨爆乳一区二区爆乳区 | 91在线丝袜| 国产v亚洲v日韩v欧美v片另类| 成人七区| 日韩pv中文| 国产超碰97| 性爱视频免费网址| 久久久激情| 欧美91精彩| 男啪女色黄无遮挡免费观看| 人人天天干干| 蜜臀人妻少妇久久在线观看| 国产成人五月天丁香花| 日韩亚洲国产视频| 国产精品青青草| 久操免费电影| 日韩乱中文| 7777奇米影视久久| 亚洲欧美人妻| 亚洲欧美日韩夜夜| 欧美在线55555| 97精品免费视频网站| 激情接吻视频久久久久久| 一区 欧美 日韩 麻豆| 黄色工厂这里只有精品| 日韩一区二区高清在线观看的| 亚洲男人的天堂一区二区| 天天干人妻视频| 一本一道波多野毛片中文在线| 欧洲综合视频| 1024精品在线| 亚洲一本大道中文字幕无码在线| 成人综合视频久久| 亚洲精品久久久久久久蜜桃臀| 天堂种子在线www网资源| 欧美熟女妇同| 日韩综合无码一区久久92| 激情小说五月天| 999熟女精品| 日韩性爱毛片操骚逼| 中文字幕视频2区| 久久久久久久| 成人av免费观看| 不卡六六在线91| 亚洲精品人妻在线| SS久久| 另类图片欧美激情综合| 青青操青娱乐| 久久久久成人网| 九九黄色视频在线观看| 日韩欧美天天爽爽爽天天爽爽| 亚瑟国产精品久久无码| 国产人伦精品一区二区三区| 欧美 亚洲| www.五月天| 国语精品对白| 免费啪啪啪网站18岁| 天堂精品一区| 日本欧美亚洲高清在线看| 情侣操 逼视频99| 中文精品一区二去| 日日黄色三级网站| 国产兽交视频在线播放| 人妻在线臀日韩| 欧美成人一级麻豆| 国产成人资源| 国产精品视屏| 人妻天天操天天爽视频免费| 三四中文字幕| 天天干美少妇一区| 91性片| 中文字幕五区| 中文久久久| 操穴国产| 欧美激情久操网| 欧美少妇一区二区三区| 国产精品白领在线观看| 97人人干| 亚洲 欧美 色图| 国模限制级电影| 亚洲av性爱电影| 精品人妻夜夜草| 亚洲AV成人无码一二三久久| 操B久久| 五十路六十路七十路熟婆| 中文幕97| 免费簧片在线观看| 96精品一区| 一区二区三区机械有限公司| 国产精选视频| 亚洲综合色网| 婷婷超| 91成人在线| 蜜乳视频网站| 精品国产乱码久久久兰草影视| 青青久久手机线视频| 亚洲国产精品久久久久婷婷老年| 日本操BAV| 精品一区二区三区18| 日本三级韩三级99久久| 操碰97| 97日视频| 人人干人人操人人..com| 限制级中的三级片中的黑粗大屌屌日人妻熟女 | 久久精品国产Aⅴ| 久久綜合很很很| 国产成人无码啪| 九九久精品| 婷婷久草一区二区三区| 日本欧美中文字幕| 欧美韩国你懂得在线| 亚洲制服欧美另类内射| 91狠狠综合久久| 久7色| 中文字幕五月婷婷免费| 天天躁夜夜躁狠狠躁AV| 免费一级欧美片片线观看| 欧美综合网在线| 久久久久久中文版| 国产毛片久久久久久久| 日本高清熟女久久一区| 亚洲国产欧美中日韩成人综合视频| 久艹免费| 美女露胸露奶头| 超97在线精品视频| 韩日欧亚a级| 日本高清电影欧美色图| 免费1级a做爰片观看| 哑洲在线| 91在线美女| 69少妇一区二区| 国产尤物在线三区| 蜜臀亚洲中文| 日本色色色视频| 人人妻人人澡人人爽久久av| 97精品视频免费| 亚欧韩av| 五月丁香激情四射| 91 综合 色| 四虎AV在线观看| 日韩中文字幕精品一区在线| 亚欧操逼片在线观看 | 久热久| 思思99热| 99国产精品视频尤物| 天天综合网视频91| 亚洲棕合电彰| 欧美精品日韩一区二区| 国产老太乱伦一区| 精品中文一区二区| av优播| 日韩成人性爱AV| 97在线免费| 日韩色图 一区二区| 无码91| 日韩在线性爱免费视频| 极品肉射| 欧美日本不卡| 人人色人人射人人妻|