日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

CANN ops-transformer FlashAttn 性能建模:D=256 下基本塊 (M, N) 的選擇與 Cube Bound 達(dá)成分析

CANN ops-transformer FlashAttn 性能建模:D=256 下基本塊 (M, N) 的選擇與 Cube Bound 達(dá)成分析 CANN ops-transformer FlashAttn 性能建模D256 下基本塊 (M, N) 的選擇與 Cube Bound 達(dá)成分析【免費下載鏈接】ops-transformer本項目是CANN提供的transformer類大模型算子庫實現(xiàn)網(wǎng)絡(luò)在NPU上加速計算。項目地址: https://gitcode.com/cann/ops-transformer本文基于 CANN ops-transformer 倉庫中 flash_attn_perf_analysis.md 的技術(shù)文檔結(jié)合 FlashAttn 算子的 Host 側(cè) tiling 與 Kernel 側(cè)源碼推導(dǎo) D256Q/K/V 頭維 256非量化 fp16/bf16dV D條件下 Flash Attention 基本塊 (M, N) 的選擇依據(jù)。讀者讀完后將掌握如何以 Cube Bound 為建模目標(biāo)推導(dǎo)性能下限與空間上限如何在 L0C/L1/UB 的容量約束與 MTE2/Fixpipe 的帶寬約束之間找到可行域以及為什么 bmm1/bmm2 結(jié)果緩沖共用能從根本上擴大 D256 的可行解空間。1. 建模目標(biāo)Cube BoundFlash Attention 在 Ascend 上由多條引擎流水組成CubeMmadbmm1Q·K?與 bmm2P·V兩個矩陣乘MTEQ/K/V 從 GM 搬入 L1、L1 到 L0A/L0B 的分形搬運Fixpipebmm 結(jié)果從 L0C 搬出到 UBVectorsoftmax行 max/exp/sum與輸出的在線累加。這些引擎中只有 Cube 計算不可壓縮——矩陣乘的 FMA 數(shù)由問題規(guī)模唯一確定搬入、搬出與 softmax 都可以與其他階段重疊執(zhí)行。因此 kernel 的性能上界就是 Cube 滿流水建模目標(biāo)為Cube Bound$$ T_{cube} \ge T_{mte2}, \qquad T_{cube} \ge T_{fixpipe}, \qquad T_{cube} \ge T_{vec} $$即 Cube 永遠(yuǎn)有數(shù)據(jù)可算其余所有階段的時間都被 Cube 時間完全遮擋。其中 Vector 側(cè) softmax/累加運行在與 Cube 配對的 Vector 核上工作量與 M(ND) 成正比在實用塊大小范圍內(nèi)遠(yuǎn)小于 $T_{cube}$不構(gòu)成額外約束本文重點分析最緊的MTE2搬入與Fixpipe搬出兩個條件。從實現(xiàn)看FlashAttn 的 kernel 入口 flash_attn.cpp 以KERNEL_TYPE_MIX_AIC_1_2模式將同一份源碼同時編譯為 Cube 側(cè)AIC與 Vector 側(cè)AIV兩個變體每個 AIC 與兩個 AIV 配對CV_RATIO2——這與本文一個 Cube 核配兩個 Vector 核、Vector 側(cè)緩沖按 M/2 行計的模型設(shè)定完全一致。2. 模型設(shè)定2.1 基本塊與迭代結(jié)構(gòu)MQ 序列方向每次迭代、每個 Cube 核承擔(dān)的塊行數(shù)bmm 的 M 維NKV 序列方向的塊大小bmm 的 N 維一次迭代處理 N 行 KVD頭維bmm 的 K 維 / bmm2 的輸出列數(shù)非量化時 dV D。單次外層迭代處理一個 KV 塊BMM1: S_Q[M,D] × S_K[D,N] → scores[M,N] softmaxonline跨迭代維護行 max/sum BMM2: P[M,N] × V[N,D] → 部分輸出[M,D]與歷史值在線累加架構(gòu)上一個 Cube 核與兩個 Vector 核配對1:2Cube 一次算 M 行兩個 Vector 核各負(fù)責(zé) M/2 行的 softmax 與累加Vector 側(cè)緩沖按 M/2 行計。2.2 硬件規(guī)格單核參數(shù)取值說明CoreNum32核數(shù)Frequency1.6 GHz主頻L1512 KBQ/P/KV 分片駐留L0A / L0B64 KBbmm 左/右矩陣分形緩沖各 2×32K 子緩沖L0C256 KBbmm 結(jié)果累加/輸出緩沖多份輪轉(zhuǎn)UB248 KB可用bmm 結(jié)果落點與 Vector 側(cè)全部緩沖L2128 MB / 5.2 TB/s折合單核 ~101 B/cycleHBM128 GB / 1.6 TB/s折合單核 ~31 B/cycle單核帶寬換算總帶寬 ÷ 核數(shù) ÷ 主頻。L25.2×1012 ÷ (32 × 1.6×10?) ≈ 101 B/cycleHBM1.6×1012 ÷ (32 × 1.6×10?) ≈ 31 B/cycle。Cube 單周期完成一次16×16×16mma吞吐FMA 4096 FMA/cycle模型假設(shè)。源碼佐證容量數(shù)據(jù)硬件表中的 UB 可用 248 KB 與 Kernel 側(cè)約束完全對應(yīng)——flash_attn_block_vec_nd.h 中UbLayout結(jié)構(gòu)體以static_assert(sizeof(UbLayout) 248KB)限制總占用注釋明確說明UB 總 size 為 256KB但需要為 AscendC 和 VF 預(yù)留 8K業(yè)務(wù)只能使用 248K。L0C 的 4×64KB 輪轉(zhuǎn)結(jié)構(gòu)、L0A/L0B 各 2×32KB 雙緩沖也都能在 flash_attn_block_cube_nd.h 的 buffer 分配表中找到一一對應(yīng)的實現(xiàn)見 §4。3. Cube Bound 的達(dá)成條件性能側(cè)約束3.1 時間模型按單次迭代總量計。兩個 matmul 的 FMA 總量為2·M·N·D$$ T_{cube} \frac{2 M N D}{FMA} $$Q 塊M·D僅在首次迭代搬入一次S2 足夠大時被攤薄K/V 每次迭代搬入2·N·D$$ T_{mte2} \approx \frac{2 N D \cdot \text{sizeof}(kv)}{Mix_{bw}}, \qquad Mix_{bw} h \cdot L2_{bw} (1-h) \cdot HBM_{bw} $$其中 $h$ 為 L2 命中率$Mix_{bw} \in [31,\ 101]$ B/cycle。bmm1/bmm2 結(jié)果fp32由 L0C fixpipe 到 UB$$ T_{fixpipe} \frac{(M N M D) \cdot \text{sizeof}(fp32)}{UB_{bw}} $$3.2 條件一M 的下限對 MTE2 的遮擋$T_{cube} T_{mte2}$ 兩側(cè)約去 N、D與 D、N 無關(guān)$$ M \frac{2 \cdot FMA}{Mix_{bw}} \frac{8192}{Mix_{bw}} $$Mix_bwM 下限101L2 全命中M 81.1即M ≥ 8231全 HBM 缺失M 264.3即M ≥ 265即M 82 時無論 L2 命中多好都必然 mte2 boundM ∈ [82, 265) 時需 L2 命中率滿足$$ h \ge \frac{8192/M - 31}{101 - 31} $$M 越大對 h 的要求越低M96 需 78%M128 需 47%M ≥ 265 起無要求。3.3 條件二N 的下限對 Fixpipe 的遮擋$T_{cube} T_{fixpipe}$ 約去 M與 M 無關(guān)$$ UB_{bw} 2 \cdot FMA \cdot \frac{ND}{N D} 8192 \cdot \left(\frac{1}{D} \frac{1}{N}\right) \quad\Longleftrightarrow\quad N \frac{8192}{UB_{bw} - 8192/D} $$D256 時UB_bw 32 8192/NN128 需 UB_bw 96N256 需 UB_bw 64。N 越大bmm2 輸出M×D與 N 無關(guān)被越多 KV 行攤薄fixpipe 壓力越小——該條件方向上偏好大 N。UB_bw 未列入硬件表見 §8 待補充若其與 L2 帶寬同級~101則 N ≥ 119 才能滿足N128 可以滿足。源碼佐證Fixpipe 壓力方向D256 下 fixpipe 輸出量大Kernel 側(cè)在 flash_attn_block_cube_nd.h 中通過IterateBmm2l0Split將 BMM2 沿 dV 方向按 128 列分塊nLoops循環(huán)、splitN逐 tile 占用輪轉(zhuǎn)的 64KB L0C buffer 并獨立 Fixpipe——單個 L0C buffer 無需容納整塊128×256×4B結(jié)果這正是 §4.1 中bmm2 結(jié)果可沿 dV 方向分塊適配 buffer 容量的實現(xiàn)落點。3.4 數(shù)值示例M128, N128, D256項數(shù)值周期cube2×128×128×256 8.39M FMA2048KV 搬入131072 Bh100%: 1298 / h47%: 2048臨界/ h0: 4228fixpipe 搬出(1282128×256)×4 196608 BUB_bw96: 2048臨界/ 128: 1536注意D256 時 fixpipe 搬出量196.6K/迭代大于 KV 搬入量131.1K/迭代fixpipe 是僅次于 MTE2 的第二約束。對照 (M64, N256)T_cube同為 2048M·N 相同但 KV 搬入 262144 B即使 h100% 也需 2596 cycles 2048——M64 82必然 mte2 bound的直接體現(xiàn)。4. 空間約束容量側(cè)約束各級存儲需容納基本塊的工作集并以多緩沖輪轉(zhuǎn)維持流水重疊。以下按bmm1 結(jié)果緩沖與 bmm2 結(jié)果緩沖各自獨立分配的常規(guī)設(shè)計推導(dǎo)§7 將放寬該假設(shè)。4.1 L0Cbmm 結(jié)果 bufferL0C256K以 4 份輪轉(zhuǎn) buffer 容納 bmm1 結(jié)果M·N·4與 bmm2 結(jié)果M·D·4每份 64Kbmm2 結(jié)果可沿 dV 方向分塊適配 buffer 容量分塊數(shù) $t \lceil M D \cdot 4 / 64K \rceil$為保 Cube→Fixpipe 重疊每迭代消耗的 buffer 數(shù)1 t須小于總 buffer 數(shù) 4。由此$$ M N \cdot 4 \le 64K ;\Rightarrow; \mathbf{M N \le 16384}; \qquad t \le 2 ;\Rightarrow; M D \le 32K ;\Rightarrow; \mathbf{M \le 128}\ (D{}256) $$dV 分塊不改變 Mmad 總量矩陣乘按分塊累加代價是 L0C 輪轉(zhuǎn)深度從 2.0t1降到 4/3t2、fixpipe 調(diào)用次數(shù)翻倍但總量不變。4.2 L1輸入分片駐留分片緩沖大小Q 塊雙緩沖2 × M·D·2 4MDPsoftmax 結(jié)果回寫供 bmm2三緩沖3 × M·N·2 6MNK/V分時復(fù)用同組 buffer至少雙 buffer≥ 2 × 2 × N·D·2 4NDbuffer 份數(shù)越多流水越深$$ 4MD 6MN 4ND \le 512K $$源碼佐證L1 分配策略flash_attn_block_cube_nd.h 的 L1 buffer 分配與此表逐項對應(yīng)P 矩陣 3 個 buffer3×mBaseSize×s2BaseSize×sizeof(INPUT_T)Q 矩陣 2 個gS1 行內(nèi)復(fù)用、isFirstS2Loop加載/isLastS2Loop釋放K/V 4×64KBconfig5 即 s2BaseSize256 且 D128 時改用 2×128KB 大緩沖。P 3 個、Q 2 個、KV 至少 2 個的多緩沖輪轉(zhuǎn)深度正是為了讓 MTE2 與 Cube 在 PRELOAD_N2 流水flash_attn_kernel_dn.h 中創(chuàng)建任務(wù)與執(zhí)行任務(wù)分離、執(zhí)行慢于創(chuàng)建 2 輪下連續(xù)重疊。4.3 UB結(jié)果緩沖與 Vector 側(cè)工作集buffer大小bmm1 結(jié)果fp32雙緩沖2 × (M/2)·N·4 4MNbmm2 結(jié)果fp32雙緩沖2 × (M/2)·D·4 4MDPbf16雙緩沖1 行分形對齊 padding≈ 2 × (M/2)·N·2 2MN輸出累加暫存fp32單緩沖(M/2)·D·4 2MD掩碼bool雙緩沖2 × (M/2)·N·1 MNsoftmax 標(biāo)量max/sum/exp 各三緩沖 lse雙緩沖 雜項≈ 54M 512$$ 7MN 6MD 54M 512 \le 248K\ (253952,B) $$4.4 L0A/L0B定性各 64K2×32K 子緩沖。bmm 輸入按 16×16 分形駐留K 方向D256按 128 分塊后M、N ≤ 128 時每個輸入分片恰好 32K 填滿一個子緩沖自然滿足M 或 N 過大將迫使輸入側(cè)退化單緩沖或重復(fù)加載故 L0A/L0B 不單獨給出不等式但支持 M、N ≤ 128 的上界。源碼佐證分形與子緩沖Kernel 側(cè) L0A/L0B 由BufferManager各分配 2×32KB 雙 buffer見 flash_attn_block_cube_nd.h 的l0aBufferManager_/l0bBufferManager_配合BuffersPolicyDB的 LOCK_UNLOCK 策略讓 MTE1 搬運L1→L0與 PIPE_M 計算重疊。D72 復(fù)用 D128 的 config 變體時L1→L0 搬運寬度按 16 元素分形對齊72→80Mmad 按真實 D 精確累加見 README 基本塊一節(jié)說明16 分形對齊是貫穿 D 各檔位的實現(xiàn)約束。5. D256 代入(M, N) 的可行域?qū)?D256 代入上述約束分離緩沖設(shè)計約束不等式D256N128N256條件一MTE2M 8192/Mix_bwM ≥ 82h100%~ 265h0同左條件二FixpipeN 8192/(UB_bw?32)需 UB_bw 96需 UB_bw 64L0CMN ≤ 16384M ≤ 128M ≤ 128M ≤ 64L14MD6MN4ND ≤ 512KM ≤ 219M ≤ 102UB分離緩沖7MN6MD54M512 ≤ 248KM ≤ 102M ≤ 74聯(lián)合82 M ≤ 102M ≤ 64無 cube bound 窗口兩點觀察N256 被 L0C 鎖死MN ≤ 16384使 M ≤ 64 82無論其他約束如何放松都到不了 cube bound 閾值。N128 的窗口極窄可行域 (82, 102] 緊貼閾值 82——即使取到上界 M102也要求 L2 命中率 ≥ 70%裕度極小。而塊大小需按 16 分形對齊、實用檔位取 2 的冪M ∈ {64, 128}M128 超出 UB 上限 102311K 248KM64 低于閾值 82——分離緩沖設(shè)計下D256 在常規(guī)檔位上不存在 cube bound 可行解。退而求其次只能取 (64, 256)空間全部滿足UB 212K、L1 416K但 M64 82注定 mte2 bound——這就是 D256 性能遠(yuǎn)差于 D128 的理論根源。源碼佐證檔位與 config 映射模型中的常規(guī)檔位 M ∈ {64, 128}并非隨意設(shè)定。Host 側(cè) fa_adjust_sinner_souter.h 的AdjustSinnerAndSouter對 D256 只有兩檔選擇gSize × maxSeqQ ≥ 64時取 sOuter64 / sInner128否則取 sOuter32 / sInner256再結(jié)合mBaseSize sOuter × CV_RATIOCV_RATIO2即得 M ∈ {64, 128}、N ∈ {128, 256}。這兩個檔位在編譯期模板 flash_attn_template_tiling_key.h 中編碼為 config4sOuter64, sInner128, D256與 config5sOuter32, sInner256, D256并在 README 基本塊表 中完整列出。也就是說M 取 64 還是 128在實現(xiàn)層面就等價于選 config 4 還是 config 5二者被 tiling key 的 Config 位段bits 25-28固化。6. 可行域內(nèi) M、N 對性能的影響上節(jié)給出的是不等式范圍而非定值范圍內(nèi)如何取值取決于 M、N 各自的性能影響。6.1 M在可行域內(nèi)越大越好算術(shù)強度每 KV 字節(jié)的 FMA 數(shù)為M/2M 是唯一的算術(shù)強度旋鈕。M 越大條件一越寬松對 L2 命中率的要求越低M102 需 70%M128 需 47%cube bound 越穩(wěn)Q 攤薄Q 搬入的攤薄負(fù)擔(dān)相對 cube 時間與 M 無關(guān)兩者同隨 M 線性增長不構(gòu)成偏好代價尾塊浪費Q 側(cè)總行數(shù)不整除 M 時末塊空轉(zhuǎn)與任務(wù)粒度變粗。Q 側(cè)行數(shù)充足prefill / 長序列時代價可忽略Q 側(cè)總行數(shù)不足 M 時大塊大面積空轉(zhuǎn)必須縮小 M——此時 M 反正低于 82cube bound 不可達(dá)屬另一種取值邏輯見 §8。結(jié)論Q 側(cè)行數(shù)充足時M 取可行域上界。源碼佐證Q 側(cè)行數(shù)充足的判據(jù)AdjustSinnerAndSouter中 D256 分支的判據(jù)是gSize × maxSeqQ ≥ 64——即Q 側(cè)有效行數(shù)Q 序列長度 × GQA group 數(shù)是否夠填滿一個大塊。這與本文Q 側(cè)行數(shù)充足與否決定 M 取值邏輯的結(jié)論精確對應(yīng)充足則選大 MsOuter64 → M128不足則降檔sOuter32 → M64。此外 tiling 的 gS1 合軸gS1Size actSeqLensQ × gSize見 README正是把 Q 序列與 GQA group 兩軸合并為同一任務(wù)維M 的分塊實際作用于 gS1 軸。6.2 N雙向影響且與 M 在 L0C 上耦合大 N 的收益條件二fixpipe更寬松KV 迭代次數(shù)S2/N減少循環(huán)與同步開銷攤薄小 N 的收益UB/L0C 中的 MN 項、L1 中的 N·D 項都隨 N 收縮K/V 單個 L1 分片更小N128 時 64K/片可 4 個 buffer 深輪轉(zhuǎn)N256 時 128K/片僅 2 個 bufferMTE2 與 Cube 的重疊更深S2 不整除 N 時尾塊浪費更小。關(guān)鍵耦合L0C 約束MN ≤ 16384把 M 與 N 綁在同一份預(yù)算里——N 每放大一檔M 的上限就減半。條件一M ≥ 82是 cube bound 的唯一入口而條件二只是過線即可N128 在 UB_bw ≥ 96 時已滿足。因此選擇次序是先保 M 過閾值并盡量大N 在剩余預(yù)算內(nèi)取滿足條件二的值。D256 下即 N128、M 取上界。7. 緩沖冗余的發(fā)現(xiàn)bmm1/bmm2 結(jié)果共用后可行域擴大7.1 冗余性論證§4.3 中 bmm1 結(jié)果緩沖4MN與 bmm2 結(jié)果緩沖4MD各自獨立雙緩沖但兩者的生命周期并不重疊bmm1(L) 結(jié)果 → softmax(L) 消費完畢 → 該 buffer 死亡 bmm2(L) 結(jié)果 → 累加(L) 消費完畢 → 該 buffer 死亡數(shù)據(jù)流是環(huán)形鏈bmm1 → softmax → bmm2 → 累加 → bmm1(下一輪)同一迭代內(nèi) softmax 先讀完 bmm1 結(jié)果、bmm2 才開始產(chǎn)出bmm2 的結(jié)果要到下一輪 softmax 前才被累加讀完。因此兩組雙 buffer 可以共用同一對輪轉(zhuǎn) bufferbuffer 容量取兩者的較大值(M/2)·max(N,D)·4。D256 ≥ N 時bmm1 結(jié)果(M/2)·N·4完全裝得進(jìn) bmm2 的 buffer——bmm1 的雙 buffer4MN整體消失。源碼佐證實現(xiàn)即共用這一理論上發(fā)現(xiàn)的冗余在 Kernel 中已是實際設(shè)計——flash_attn_block_cube_nd.h 與 flash_attn_block_vec_nd.h 中的ubMmResBuffers_明確注釋BMM1/BMM2 fixpipe 結(jié)果分時復(fù)用buffer 大小取mBaseSize/2 × max(s2BaseSize, dVBaseSize) × sizeof(FP32)即本文的(M/2)·max(N,D)·4buffer 數(shù)按 D 分檔UB_MM_RES_BUFCNT (dBaseSize 128) ? 2 : 4。讀寫兩側(cè)通過一 flag 一 buffer的核間同步接力AIV 側(cè)CC_MM_0~3/ AIC 側(cè)CROSSCORE_MM_0~3寫端BMM1/BMM2fixpipe 完成后 Set結(jié)果就緒讀端Vec1/Vec2Wait 后讀取、讀畢再 Setbuffer 釋放同一 flag 沿「就緒 → 釋放 → 就緒」交替接力。mmResBufId_單調(diào)遞增計數(shù)器保證同一 ExecuteTask 內(nèi)先后執(zhí)行的 BMM1(L) 與 BMM2(L-2) 落在不同 buffer避免寫寫沖突——這正是 §7.3 所述按結(jié)果序而非算子序分配 buffer、以環(huán)形等待保證時序的工程實現(xiàn)。7.2 新的 UB 空間公式$$ \underbrace{4M \cdot \max(N,D)}_{\text{共用結(jié)果緩沖}} 2MN 2MD MN 54M 512 \le 248K $$D256 且 N ≤ 256 時 $\max(N,D)D$化簡為$$ \mathbf{3MN 6MD 54M 512 \le 248K} \qquad (\text{原 } 7MN 6MD \dots) $$節(jié)省量 4MNN ≤ D 時。對 (M128, N128)節(jié)省 64KUB 占用從 311K超限降為247.25K ≤ 248K余 768B。7.3 擴大后的可行域與更好的選擇約束N128N256UB共用緩沖M ≤ 128M ≤ 107L0C / L1M ≤ 128 / M ≤ 219M ≤ 64/ M ≤ 102聯(lián)合82 M ≤ 128M ≤ 64仍無窗口與 §6 的結(jié)論呼應(yīng)N128 的窗口從 (82, 102] 擴大到(82, 128]恰好把 M128 檔位納入對 L2 命中率的要求從 70% 降到 47%cube bound 從勉強貼線變?yōu)橛性6取@就是緩沖共用后能選出更好 (M, N) 的量化體現(xiàn)N256 側(cè)不變被 L0C 的 MN ≤ 16K 鎖死在 M ≤ 64進(jìn)一步印證 §6.2 的判斷L0C 耦合下 N 必須給 M 讓路共用的前提是按結(jié)果序而非算子序分配 buffer并以環(huán)形等待保證bmm1 第 L 輪寫入晚于bmm2 第 L?2 輪讀完——即空間收益需要同步機制的配合不是免費的。源碼佐證環(huán)形等待與流水Kernel 的 PRELOAD_N2 流水flash_attn_kernel_dn.h 的ExecuteTask保證同一時刻 AIC 上 BMM1(本輪) 與 BMM2(2 輪前) 并行、AIV 上 Vec1(本輪) 與 Vec2(2 輪前) 并行P 矩陣的 3 buffer 輪轉(zhuǎn)AIV 寫第 N 輪 P 與 AIC 讀第 N-2 輪 P 并行恰好容納寫入中/待讀取/已釋放三態(tài)。這些都建立在結(jié)果生命周期錯開這一前提之上與本文的環(huán)形鏈論證互相印證。8. 結(jié)論場景選擇依據(jù)D256Q 側(cè)行數(shù)充足prefillM128, N128落在共用 buffer 后的可行域 (82, 128] 上界L2 命中率 ≥ ~47% 即 cube boundbmm2 結(jié)果按 dV/128 分塊適配 L0C bufferD256Q 側(cè)總行數(shù) 128decode/小 batchM64, N256M 被工作量壓低cube bound 反正不可達(dá)M 82取大 N 換取 KV 迭代次數(shù)減半且 (64,256) 恰好貼住MN 16K的 L0C/mask 界空間無浪費建模方法論小結(jié)性能條件給下限cube bound 等價于M 8192/Mix_bw82~265與 D/N 無關(guān)與N 8192/(UB_bw ? 8192/D)空間約束給上限L0CMN ≤ 16384、M ≤ 128dV 分塊后L14MD6MN4ND ≤ 512KUB 由結(jié)果緩沖與 Vector 工作集決定可行域內(nèi) M 越大越好唯一算術(shù)強度旋鈕N 與 M 在 L0C 上共享預(yù)算、優(yōu)先保 M緩沖復(fù)用擴大可行域bmm1/bmm2 結(jié)果生命周期錯開、可共用 bufferUB 上界 M ≤ 102 → M ≤ 128使 cube bound 從臨界變?yōu)榭尚小臻g優(yōu)化最終轉(zhuǎn)化為性能選項的解放。待補充UB 帶寬 UB_bw 實測值用于封閉條件二D256 下 fixpipe 搬出量大于 KV 搬入量值得單獨 profiling 驗證。附模型結(jié)論與實現(xiàn)的對應(yīng)關(guān)系及驗證途徑本文的所有推導(dǎo)最終都落在 CANN ops-transformer 倉庫 FlashAttn 算子的真實實現(xiàn)中可按下述對應(yīng)關(guān)系在源碼中逐一驗證基本塊檔位M、N 的取值集合編譯期 config 模板 flash_attn_template_tiling_key.hconfig 0~7 的 sOuter/sInner/D/DV 編碼與運行期AdjustSinnerAndSouterfa_adjust_sinner_souter.h共同決定mBaseSize sOuter × 2與s2BaseSize sInnertiling key 編碼5 個模板參數(shù)InOutLayoutType / KvLayoutType / HasAttenMask / TemplateId / Config按位拼接為 tiling keyHost tiling 的GenTilingKey生成、運行期 kernel 按 key 選變體細(xì)節(jié)見 README 的 TilingKey 章節(jié)緩沖與存儲層級L0C 4×64KB、L0A/L0B 各 2×32KB、UBstatic_assert ≤ 248KB、L1 的 P/Q/KV 多緩沖見 flash_attn_block_cube_nd.h 與 flash_attn_block_vec_nd.h 的 buffer 分配表負(fù)載均衡與 FDsection 切分與 split-K 歸約FlashDecode由flash_attn_metadataAICPU基于 SectionStreamK 算法產(chǎn)出 metadata主算子按 metadata 區(qū)間執(zhí)行見 flash_attn_tiling_data.h 的 metadata 布局與 README 的負(fù)載均衡章節(jié)性能驗證途徑倉庫提供 train/infer 各 220 性能用例tests/pytests/test_cases/performance_redline_train.py、performance_redline_infer.py可通過--perf_mode采集性能數(shù)據(jù)并配合 ASCEND DEBUG 日志中的GenTilingKey/kernel_nameFlashAttn_hash_tiling_key確認(rèn)實際選用的檔位——感興趣的讀者可在真機上用這些用例驗證本文UB_bw 實測值待補充的開放項。此外FlashAttn 的對外接口flash_attn_metadataflash_attn兩段式調(diào)用、參數(shù)說明、約束與調(diào)用示例見 torchapi_flash_attn.md可與本文的性能建模對照理解接口層的 D 支持范圍64/72/128/256以及 MLA 形態(tài)的 QK192/V128與模型假設(shè)的 D256 場景一致接口文檔中metadata 與主算子入?yún)⒈仨毐3忠恢碌募s束則對應(yīng)本文 §4 中tiling 與 metadata 共用AdjustSinnerAndSouter保證兩側(cè)切分口徑一致的實現(xiàn)要求?!久赓M下載鏈接】ops-transformer本項目是CANN提供的transformer類大模型算子庫實現(xiàn)網(wǎng)絡(luò)在NPU上加速計算。項目地址: https://gitcode.com/cann/ops-transformer創(chuàng)作聲明:本文部分內(nèi)容由AI輔助生成(AIGC),僅供參考
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲 日本 国产 综合| 中文字幕第95页| 亚州精品人妻一二三区| 国产懂色精品国产av| 久久的网站啊啊啊啊啊| 偷拍视频青青草在线视频| 狠日操| www.一本大99| 91性高朝久久久久久久久| 伊人久久大香大香线蕉中文| 亚洲欧美日韩电影网站一区| 曰韩操B| 天天干一区二区| 日比av无码| 牛牛aV| 被男人添B超爽视频| 先锋精品av色鲁| 蜜桃网熟妇| 欧美日韩国产高清在线一二三区 | 久久精品国产欧美日韩亚洲欧美日韩中文久久国产一区 | 欧美不卡在线一区二区| yirendaxiangjiashipin| 日韩99999| 久久曰曰| 夜夜爽夜夜操| 嗯嗯嗯啊啊啊操的我好爽| 日本综合色图| 有码免费观看| 国内毛片无遮挡国产| 熟女精品一区二区三区| 日躁天天爽爽| 黄色二级片网站| 高树玛利亚无码流出| 情色图区| www.五月天| 天堂成人网| 99re视频在线观看这里只有精品| 九九九久久久| 中文字幕视频一区视频二区| 91丨九色丨国产丨人妻在线| 超碰伊人在线| 91狠狠综合久久| 欧美劲爆第一页| 超碰97欧美在线| 国产呦精品系列在线观看| 日韩草久视频| 成人av性爱电影在线观看| 欧美色图亚洲特色| 麻花传媒免费网站在线观看| 精品人妻一区二区免费蜜桃视频| 久久欲| 久久久影院| 欧美色www亚洲国产阿娇要播| 国产视频三区四区| 色伊人91| 大香久久| 亚洲精品骚逼| 国产精品久久伊人| 成人性爱免费播放| 精品人妻一区二区蜜桃视频| 一区二区精品更新提醒| 国产免费一区2区3区| 精品大久久| 亚洲国产精品成人无码久久久| 精品9区| 性爱av网站| 九九九九9999| 美欧老女人97| 超碰成人免费| 亚洲中文一区二区三区| 青娱乐亚洲热| 青青伊人这里只有精品| 国产97综合| 射 色综合| 国产亚洲日韩在线三区黑人| 少妇无码999| 久久综合精品一区二区三区| 性做久久久久久免费观看软件| 9久久精品| 91成人在线| 欧美大香蕉专区网| 欧美日韩狠狠爱| 99久久这里只有精品| 尤物黄色在线观看网站| 不卡日本一区二区| Julia Annxxxxx| 六月丁香久久| 乱伦1色页| 欧中美三级一区二区三区| 亚洲密乳AV| 亚洲天堂资源| 97色欧州| 亚洲黑丝在线| 国产精品无码av| 日韩啪啪视频| 欧美视频一区二区三区| 极品AV网站在线观看| 亚洲 日本 一 二 三| 色欲蜜臀AV| 91热| 毛片99-全集电影手机免费观看完整-B029AV | 欧美熟妇色| 综精品久久久aaaa| 精品妇女一区二区三区| 久草视频分类在线| 韩三级a视频在线观看| 啊啊啊用力在线观看| 囯产乱伦一区二区三女| 一类无码操逼视频| 91亚洲色人| 天综合网| 久操不卡视频| 国产尤物AV尤物在线观看不卡 | 国内一级精品| 欧美在线视频播放| 国产精品视频在线播放| 日本新免费二区三区| 伊色综合天堂色97| 夜夜操2028| 六十路日本| 超碰国产精品无码| 先锋色眉乱伦资源| 美國A片| 五月丁香黄色网| 嗯嗯啊中文字幕| 超碰在线97国产| 精品国产嫩穴视频| 欧美视频在线第3页| 国产又色又爽又舒服的三级视频| 9丨亚洲一区二区在线| 欧美精品91| 国产精品视频在线观看| 9丨久久九九九| 嫩草91| 九热超碰| 97伊人超碰| 国产伊人精品在线| 欧美日韩狠狠爱| 97久久国产精品女不卡| 玖玖久久久| 午夜爽爽爽| 亚洲97在线观看| 96精品久久久久久久久| 日产欧美电影一区二区三区| 国产不良强奸视频免费看| 99久久亚洲精品无码毛片潘甜甜| 婷婷色色五月天福利| 久久无码精品| 秋霞色色影院| 亚洲黄色| 高潮毛片无遮挡高清免费| 中文字幕精品一区二| 男女做爰猛烈动高潮A片免费应用 少妇厨房愉情理伦片bd在线观看 不卡中文字幕aⅴ在线 | 九九九只有精品| 国模91| 熟女91网| 亚洲九九九| 好爽免费视频| 被窝影院午夜看片无码| 日韩国产不卡在线视频| 国产精品亚洲天堂网址| 色青青久久影视| 日韩精品在线观看网站| www.天天干| 欧美亚男人的天堂| 男人把坤坤插入女人的下体| 东京热男人天堂| 黑人猛交| 操逼无码一区| 熟妇熟女视频一区二区三区| 欧美午夜精品久久久久久超碰| 97一区二区蜜臀| 欧美亚洲涩涩| 亚洲精品精品一区二区| 亚洲天堂综合AV| 中文字幕片| 日韩精品三级片长长久久| 欧亚韩国999| 欧美日韩中文视频播放| 亚欧日韩成人| 日韩情色视频| 中文97国产| 四虎精品一区| 日韩精品-原创伙伴| 丝袜人妻av一区二区| 亚洲色 国产 欧美 日韩| 久久曰曰| 欧美国产操逼| 欧美美女视频| 亚洲国产精品无码AV久久久| 岛国在线一区二区三区| 日日干夜夜操视频h| 国产和美国毛片| 91精片| 啪一啪免费视频| 亚洲中文字幕av| 日韩无码极品| www.色操逼| 国产精品久久久久久夜夜夜夜| 亚州男人天堂| 亚洲?V无码专区在线电影| 欧美成va视频网站| 999久久久精品国产| 超碰在线97国产| 国产白丝av| 果冻国产精品麻豆成人av| 麻豆区99999| 亚洲综合影片| 黄骗免费网站| 五月丁香激情综合| 国产成自自拍在线观看| 国产97在线视频| 玖玖玖玖精品国产剧情| 欧美精品91| 91少妇| 成人av免费观看| 97一区二区三区视频| 97超碰超碰| 国产美女mm131爽爽爽爽| 涩爱AV在线| www久久精品| 中文字幕国产| 农村妇女精品一区二区| 88xx成人精品视频| 日本熟妇熟色97一本在线观看| 亚洲男人天堂视频| 黄骗免费| 欧美精品亚洲精品日韩传电影| 久久久国产av美女私房| 天天爽夜夜欢视| 玖玖久久久| 激情综合五月丁香| 综合亚洲网| 色综合网1| 亚州欧美综合| 91碰碰碰| 97在线播放 | 内射中出日韩在线观看视频| 99re久久| 欧美性猛交美女自慰91| 欧美精品成人一区二区在线观看| 精品少妇一区二区三区免费观看| 哑洲在线| 91丨九色丨大屁股| 国产sv美女内射| 国产尹人在线视频免费| 日本日日色视频| 五月天亚洲色图| 99色悠悠| 在线日韩精品一区二区三区| 好爽,再快点啊哈嗯嗯嗯嗯| 青娱乐国产剧情av一区| 久久国模av| 狠狠操夜夜| 美熟女逼导航AV操逼| 欧美日韩性爱无码| 无套后入双马尾| 成人网站 免费观看| 久久精品六区| 激情第四色| 亚洲色人| 97bbn| 亚欧成人综合影院| 殴美日韩m| 亚洲国产一级黄色视频| www.狠狠| 清纯唯美亚洲另类| 国产剧情一区在线观看| 中文字幕一区二区三区字幕| 日本人妻天堂网站在线播放| 亚洲一欧洲中文字幕在线| 亚洲天堂电影网99999| 五月婷婷五月天| 青草伊人久久| 激激五月| 乱伦日本中文自拍| 欧美综合传媒| 欧美日韩性爱操大逼| 激情啪啪视频| 女优视频第10页| 白丝AV| 超碰98综合网| 婷婷亚洲色| 精品人妻一二三| 97 国产一区| 女人午夜视频777| 亚洲丝袜少妇在线| 91激情网| 色婷婷综合网站| 国产一级舔足在线观看| 日本不卡免费二区| 亚洲情色在线| 翔田千里av一区二区三区| 野狼福利社区| 色偷综合| 少妇三P| 欧美日韩操逼嗦吊| 18啪啪手机免费性爱| 走光一区92下载| 67914亚洲精品| 九九精品99| 亚洲黄色电影| 亚洲九九爱| 婷婷久久五月| 囯戸精品高潮呻吟旡码| 97碰碰色| 97爱欧美| 东京热亚洲一区二区| 国产乱伦性爱区| 亚洲情色 自拍| 国产精品色哟哟| 日日噜噜夜夜久久亚洲一区二区| 五月情色天| 一区二区三区在线美女| 日日干夜夜操视频h| 久久一二三四五六七八九区区| 少妇熟女1区2区3区| 九九热午夜欧亚国产视频| 江都AV在线| 99精品在线| 看黄片视频免费| 欧美的性爱网站免费| AV中亚| 67914在线兔费成人视频| 黄总AV色图| 99热综合在线| 久/久精品99看9| 亚洲国产麻豆一区二区三区| 精品国产91内射久久| 精品少妇一区二区| 国产热av| 97视频新免费| 亚洲欧美综合网站| 欧美成人国产精品| 亚洲日韩久久精品一区| 91丝袜激情在线| 欧美天天拍| 婷婷五月天社区| 中国亚洲呦女专区| aaaa黄片| 毛片电影一区二区三区| 伊人女女资源在线观看| 男人高清无码一区二区| 国产三区免费在线观看| 亚洲国产奇米影视久久| 午夜乱轮操逼视频免费看| 欧美日韩大香蕉| 亚洲av青草久久一区二区| 校园春色五月天| 欧洲人妻视频| 校园春色五月天| 久久久一区二区三区四区五区| 東南亚性呦成人伦理资源在线视频| 97 国产一区| 欧美亚洲第1页| 国产高清1234区| 人人爽天天爽| 97色97好| 欧美大片一区二区三区| #NAME?| 色悠久久久av| 亚州精品人妻一二三区| 久久综合久色欧美综合狠狠 | 一级乱伦网站| 九九九精品| 亚洲加勒比久久日本道| AV一区观看| 欧美精品日韩久久久九| 老熟女搡BBBB搡BBBB视频| 无码动漫av中文字幕| 免费av高清无码| 中国少妇XXXX做受| 欧美在线播放aaaa| 亚洲人妻一区二区三区| 四虎永久在线精品免费网址| 校园春色亚洲欧洲| 九九亚洲色在线观看| 欧美色图99| 91高潮| 亚洲国产另类在线中文| 一区二区三区高清天码| 国产超碰人人爽人人做| 天天操狠狠日夜夜干超碰撸com视频在线观看 | 国岛片视频| 蜜桃av综合网发布| 天天狠| 神马久久久久久久久久| 色婷婷一区二区三区久久午夜| 亚洲,欧美,综合网| 久久人妻| 欧美日韩 强奸乱伦| 丰满的三级少妇欧美久久久| 色噜噜国产在线| 强奸熟女一区二区三区| 综合色91| 插穴性爱视频在线观看| 99视频内射三四| 俺去也婷婷| 丝袜综合| 久夜操| 国产成人91一区二区三区| 搡老女人老妇女AAA一VU麻豆 | 欧美激情五月天| 日本精品人妻少妇一区二区| 9997se| 99热在线播放| 人妻系列无码专区中文有码| 超碰久久中文| 91亚州欧美| 亚洲少妇视频| 国产操伦| 久久久98网站免费视频| 国产91专区| 女性喷水高潮在线观看| 91日韩在线| 中国黑人三级片网站上区| 97爱爱官网| 亚洲精品白浆高清久久久久久| 一级性爱aaaa| 日本精品免费一区二区三区四区| 亚洲深夜福利| 亚洲黄色影视| 国产熟女自拍| 911av网站免费观看| 国产天美欧美| 精品少妇高潮久久| 国产精品成人福利在线| 哈哈操电影AV| 干超碰碰熟女| 九九色图| 中文字幕视频免费| 国产精品麻豆成人av| 性爱1区| 精吧天堂| 国产亚洲精品精AV.| 五月激情小说| 欧美96交| 国产精点久久久成人| 国产肏屁眼视频| 亚洲综合第一页| 99综合| 天天天操天天天爱| 影音先锋视频在线| 97国产天堂岛| 国产成人精品必看| 国产黄色动态精品| 国产农村妇女精品| 麻豆视频test| 国产精品ww久久| 久久久久久久人妻| 亚洲玖玖爱| 亚洲天堂人妻熟妇视频| 久久久久久久久久久久欧美日| 国产视频一区二区三区在线免费观看| 日韩AV中文字幕电影| 福利视频网站| 麻豆视频test| 国产精品人妻免费精品| 操我啊啊啊啊啊| 男人的天堂视频精品乱在线| 久久99久久99精品免视看婷婷| 大香蕉日韩欧美| 亚洲αv一区二区三区| 久草新免费| 97超碰人人操人人操| 大香蕉在线视频15| a级免费在线观看| 国产白领连续中出在线观看| 丁香婷婷五月| 久久久久久九九九九-美女久久久久久久-成人AV| 亚洲国产精品无码AV久久| 色综合美国| 边做饭边操逼逼| 欧洲射精91| 99这里只有精品国产| 玖玖资源中文字幕制服丝袜| 天天操天天射天天日| 少妇第一页| 福利大香蕉| 久久亚洲AV成人精品无码| 国产精品在线一区二区| 少妇滛荡视频| 校园春色五月天| 大香蕉在线视频15| 岛国片在线视频网站| 亚洲黄a三级三级三级看三级| 91社操逼| 国产乱子伦一区二区三区在线观看| 99热亚洲天堂| oumeizonghese,www| 乱伦熟妇一区二区| 99re在线视频国产| 超踫中文字幕| 亚洲图片日本AⅤ欧美在线| 好吊爽好吊爽在线视频,中文字幕精品一区二区日本,国产良妇出轨视频在线观看, | 欧美日韩成人在线| 狠狠色伊人亚洲综合网站色 | av东京热男人的天堂| 亚洲一区二区三区四区视频| 少妇激情一区二区三区视频| 亚洲日韩av一区二区三区百合| 1级黄色夫妻对换性交免费看| 试看60秒| 在线观看一卡二卡| 日本十八禁免费看污网站| 韩国毛片一区二区三区| 大香蕉碰碰| 天天激情干| 国内一级精品| 久操九九九九九九九九九九九九九九九九九九九九九九九九九九九九 | 女人天堂av在线播放| 人妻 制服 日韩 中文 在线| 在线99热| 91在线秘 男同| 加勒比色99999| 久久9精品视频| 思思热影视| 国产 日韩,欧美 自拍| 欧美丝袜美女电影一二三四区| 天天综合亚在线| 精品人体无圣光凹凸| 蜜臀久久99精品久久久久久酒店| 欧美乱妇狂野欧美在线视频| 日本岛国黄色网址| 夜夜天天噜狠狠爱2021| 亚洲爽图| 日韩欧美中文字亚洲慕| 熟妇艹鸡八| 五月丁香影院| 国产h片在线观看视频| 97在线免费观看| 亚洲国产97在线精品一区| 日韩精品熟妇| 亚洲夜色在线| 色爱综合网| 99久久久er直播网址| 国产精品不卡av免费在线观看| 久久久精品九| 怡红院成人av| 国产av青草| 亚洲五月丁香花狠狠干一区二区三区 | av天堂电影网| 大香蕉99re| 青女在线| 免费农村成人少妇人妻Aa一区二区视频| 无码少妇精品一区二区60岁老人| 午夜男人av| 国内毛片欧美香蕉精品| 欧美色蜜桃97| 蜜臀一二三区| 欧美大片一区二区三区| 97色视频在线| 欧美亚洲丝袜美女电影| 99热亚洲天堂| 精品少妇一区二区三区免费观看| 五月婷婷AV| 五月天黄色激情视频| 玖玖爱在线视频免费观看| 欧美小说区视频区| 亚洲男人天堂视频| 超碰午夜| 狠狠躁天天躁日日躁97| 国产欧美成人精品| 欧美综合 站| 97一本大道亚洲一区| 操逼内射干逼白丝91| 日本一区二区电影网站| http://qxhbdz.com| 人妻少妇精品一区二区三区| 久久婷婷六月综合| 婷婷丁香六月天| 99爱爱| 欧美成人性爱视频大全| 日本高清一区二区在线| 秋霞曰韩R级| 欧美亚洲中文字幕| 亚洲成av人片色午夜乱码| 色小视频蜜乳| 99精品久久| 欧美|91色综合| 欧美日韩国产中文精品字幕自在自线,| 亚州精品一区二区三区香中文字幕在线| 色婷婷影院| 久久久久久亚洲精品不卡人乳 | 中文字幕AV乱伦| 92性色国产午夜福利在线661 | 久久黄色视频一区二区三区| 日韩欧美aⅴ综合网站发布| 99国产精品视频尤物| 久草国产在线视频| 秋霞曰韩R级| 三级片网站在线播放| 人人爱操| 精品.99999| 亚洲Av噜噜一区二区三区妖精| 亚洲视频二区| 国产嫩草精品A88AV| 欧美色性情| 永久免费观看的毛片的网站| 日韩中文字幕精品一区在线| 一,爱啪啪,在线免费视频| 5月婷婷6月六月丁香| 六月丁香啪啪| 青青草吊丝| 一本久久精品中文字| 日韩78m视频| 超碰在线日韩一区| 人妻精品视频一区二区三区| 岛国片在线播放| 激情啪啪拍91| 国产欧美第五页| 亚洲高清视频在线观看| 人妻 欧美 中文| 强乱老妇中文字幕| A一区片| 天天躁日日躁AAA片李宗瑞| 91久久久久久久久久久| 人妻免费观看| 超碰九区| 在线欧美69V免费观看视频| 久久性爱城| 久久9亚洲| 91无码人妻| 亚洲天天操| 中文字幕亚洲永久精品| 日韩三级一区 | 久热久| 日本一天色道久久久精品视频| nuu12国产麻豆精品| 夜夜欢天天干| 国产一级操B视频| 婷婷四五区| 亚洲亚洲亚洲天堂天堂| 天美精品原创av片国产| 中文字幕av乱伦| 亚洲色图加勒比| 久9爱经典视频| 中文字幕久久婷婷丁香五月天| 亚洲黄网在哪免费看| 国产女人高潮视频| 男女香蕉一区二区| 黄色片A级一区二区三区| 日本123区操B视频| 日韩电影天堂视频一区二区| 亚洲综合伊人无码久久| 欧美经典一区二区三区| 在线观看十八禁| 四虎884| 亚洲 欧美 偷拍 唯美| 女人的久久久| 国产美女高潮视频| 成人AV超碰免费在线| 亚洲人妻av| 亚洲宗合网| 91人妻人人澡人人爽人人精品| 日本污ww视频网站| 狠狠做深爱婷婷久久二区| 九九九精品成人免费视频小说| 人人天天干干| 五月天亚洲网| 久操凹凸视频| 日韩三级在线观看mp4| 欧美精品宗合| 鲁鲁色综合网| 91老司机精品| 十八禁视频网站| 91丝袜美腿片| 国产精品黄色三级av| 久久久久久性爱片| 97超碰欧美中文字幕| 99精品久久久久久久婷婷蜜桃| 久久综合久色欧美综合狠狠| 日本熟女免费視颖| 91偷拍欧美亚洲| 欧美v日韩v亚洲v最新在线| 超碰人人妻| 亚洲天堂资源网| 91久久久久久| 激情欧美97| 亚洲 日韩 欧美 国产综合体| 麻豆天天躁天天揉揉AV| 久久草在线综合视频| 97AV在线免费观看| 亚洲精品国产专区在线观看| 五十路熟女工口| 一级成人性爱| 99热精品国产| 无码国产Av| 亚洲精品国产av天美传媒| 情趣丝袜无码操逼视频| 91草草草| 欧美性巨大╳╳╳╳╳高跟鞋| 一区二区视频你懂的| 小视频玖玖| 亚洲熟久久| 围产精品一区二区三区视频播放| 欧美亚洲激情一二三| hd成人一区二区在线| 少妇精品久久久八区九区| 国产日本久久免费精品| 亚洲国产青青| 五月丁香激情啪啪| 人妻丝袜日本| 岛国AV一区二区电影| 激情熟女12P| 欧美少妇高潮久久91| 久久无码电影| 久久97视频| 六九九九| 国产一级特黄大片处女| 中国黄色特级精品一区二区三区片| 日逼国产| 国产精品成人午夜福利| 人妻夜夜爽天天爽麻豆三区网站| 强奸抽插av| 98超碰日本| 亚洲色诱惑| 久久黄人人爽视频| 成人热久久精品| 凸凹视频在线观看| 9久久精品| 成人无码专区精品视频| 国产精品视频麻豆入口| 亚洲欧美天| 亚洲 图片 综合91| 蜜乳av一区二区| 热久久无毒不卡| 国产成人亚洲精品自产在线| 一级AV性爱| 超碰 国产熟女精品一区| 99热精品在线| 国产一区二区三区免费视频在性观看| 日韩av情韩国爱禁区av一区二区| 丁香五月色情| 天天做天天爱| 99热99re6国产在线播放| 日韩三级视频一区二区三区| 人人操人人操人人人操| 亚洲狠狠入| 日韩少妇丰满亚洲| 欧美一级A片在线看视频性色| 精品九九| 男人天堂久久精品不卡| 亚洲码和欧洲精品激情系列| 国产成人精品日本视频| 热99这里有精品综合久久| 嗯,啊。舔我逼| 91在线页| 欧美麻豆成人同性GⅤ在线| 91丝袜在线播放| 少妇色综合| 亚洲日本男人天堂网| 久久香蕉国产线看观看猫咪av| 亚洲阿v天堂在线| 欧美洲精品一级| 久久色一区| 久久久网站| 丰满人妻无码一区二区三区| 日韩97| 大色网久久| 欧美亚洲日韩16色| 人妻美腿丝袜制服诱惑综合天堂-| 女人午夜视频777| 91搞逼视频| 亚洲全色网| 亚洲色棕合| 亚洲AV不卡在线观看尤物| 久久精精区一区二区一蜜桃一区二区| 操操逼视频| 国产成人91一区二区三区| 欧美日韩一二三| 二三四区精品| 亚洲最大的黄色电影网站。| 久久久爆乳翘臀一线天伦理视频| 肉嘟嘟www视频在线观看高清| 12一15性XXXX粉嫩国产| 国语少妇精| ...日韩成人一区二区三区字幕| 青青草视频久久久久| 好吊妞转入那个网| www.91色| 久久丁香五月婷婷| 黄色性爱网网| av网页一区二区三区| 国产精品高清2021在线| 明星性猛交ⅹxxx乱大交| 国产精品久久久久婷婷二区次| 91精品人妻啪啪间| 东京热99999| 欧天美中出| 欧美白嫩女HD| 殴美日韩m| 九九热九九热| 天天操av懂色| 亚洲国产第一页综合视频| 婷婷五月天综合网| 狠狠爱综合网| 久久激情视频| 色色激情五月天| 国内毛片无码一级毛片| 天天色播亚洲综合网站| 色黄色美女大长腿午夜视频| 中文字幕交换人妻| 国产三级多多影院2022国产AA一级毛片无码| 国产精品一二三区18| 26uuu久久| 亚洲午夜未满十八勿入网站日本又色又爽又黄| 91丝袜在线观看| 一区二区中文| 国产真实子伦对白| 欧美欧美啪啪视频| 蜜桃久久一区二区| 国产粉嫩蜜臀av一区二区三区| 大学生美女口爆| yiqicaoav| 69av一区二区三区| 国产欧美精选激情视频| 亚洲精品无码久久AV| 亚洲欧美日韩精品久久久一区二区| 99久久e免费热视| 最新日产中文在线麻豆| 日韩精品一区的| 1024人妻| 伊人综合色网| 97日视频| 97精品人妻一二三四| 久久久久99精品成人片蜜臀 | 99re免费| 亚洲国产97| 亚洲国产欧美一区二区潘金莲| 天天插夜夜操| www.国产高潮精品| 婷婷午夜| 视频在线观看一二三区| 伊人丝袜美腿高跟在线观看高清| 美欧老女人97| 欧美在线干| 欧美日韩久久精品爱爱| 韩国免费播放一级毛片| 精品人妻一区二区视频| 熟女六十路| 日本三级日本三级99| 九九无码久久精品视频| 日韩78m视频| 女上位精品在线| 久久久四区| 午夜精品久久久久久久久久蜜桃| 九月丁香综合网| 97久久精品亚洲| 诱惑人妻欧美一区在线播放| 少妇熟女视频一区二区三区| 色97干| 约操熟妇| 男人的天堂在线有码| 欧美一级专区免费大片 | 熟女人妻精品一区二区视频| 中英熟女操女| 国产精品久久久久久片| www鬼畜国产男人的天堂| 怡红院成人av| 亚洲精品99999| 国产亚洲女v在线观看| 免费黄色片子| 欧美另类自拍| 黑人性暴力毛片| 大香蕉黄色一级片免费看| 激情五月天色色| 久婷婷一区| 国产免费小视频| 日韩操p| 日韩黄色成人性爱| 丝袜视频一区二区在线播放国产中文| 国内毛片四区| 中文字幕一区二区日韩网| 涩五月婷婷| 97精品国产精品免费观看| 欧美色图99| 日韩亚洲中文有码视频| 伊人综合色网| 精品久久久久成人码免| 日韩熟女操逼| 亚洲成人碰碰| 少妇人妻在线| 翔田千里AⅤHD无码| 色色色综合| 亚洲永久AV无码精品秋霞| 久久岛国| 牛牛aV| 国产四虎在线| 亚洲深夜福利| 香蕉人人操tv| 欧美影音在线| 2025年A片视频精品| 狠狠综合网| 亚洲脚交| 国产精品干干干| 国产偷仑| 亚洲av噜噜噜噜噜噜| www久久久| 久久天堂网| 男人高清无码一区二区| 亚熟hd视频在线| 另类图片欧美激情综合| 麻豆人妻精品一区二区| 久久久精品九| 欧美午夜视频精品久久| 狠狠做深爱婷婷久久二区| 亚欧高清| 啊啊啊啊啊啊啊国| 国产传媒一区二区三区| 超碰91在线| 国产91美女视频| 亚洲欧洲网站免费观看| 国产丸一视频| 亚洲五码一区二区三区| 天美传媒AV国产在线| 欧美组图日韩亚洲中文字幕| 偷窥自拍亚洲色图| 久久久久久9| 91校园春色长篇| 国产农村妇女毛片精品久久| 欧美黄色片AAAAA| 精品少妇一区二区| 日本理论在线| 中日992视频| 日韩成人性爱电影在线播放| 丝袜狂射91| 色牛牛AV| 9久9久| 国产一区二区三区影片| 亚州精品人妻一二三区| 国模少妇一区二区三区| 欧美 日韩第一性色| 日韩不卡av一二三| 精品少妇一区二区| 久久婷婷五月综合| 亚洲日韩精品一区二区| 久操操| 91综合熟女| 天天综合网一91网| 熟妇乱伦一区二区| 亚洲天堂性爱| 99久久精品无码一区二区毛片免费| 宗合情欲网| 高清无码一区二区三区| se,,,亚洲欧美| 人妻 丝袜美腿 中文字幕| 无卡一区=区| 影音先锋国产精品| 91熟女丨老女人| 麻豆久久视频在线地址| 97在线观看免费视频| 97国产天堂岛| 黑丝自慰喷水网站| 亚洲色图欧美色图综合| 五月天开心网| 久久免费少妇| 亚洲黄日韩无码专区| 日韩乱伦AⅤ| 日韩av电影网站| 99精品网| 亚洲无码太久| 色婷婷一区二区三区久久午夜成人不| 亚洲夜夜欢无码一区二区| 美女黄站| 91暧暧| 日韩性爱电影一区| 天美传媒婬乱在| 二级久久网| 久久久久久AⅤ无码免费肉站| 日日夜夜摸| 亚洲视频小说| 欧美性爱在线无码| dy888午夜老子影视达达兔| 国产精品密臀网在线观看| 欧美网站免费| 国产女大学生AV| 国产1727欧美| 久久人妻精品| 性影在线视频| 国产熟女一区二区| 第45页一区二区| 亚州AV无码国产精品| 91操熟女| 国产精品色| 一区二区三区 丝袜 高跟 美腿| 中日亚韩免费视频| 美女久久久| 亚洲国产中文字幕| 小草精彩毛片| 8050午夜少妇无码| 神马午夜久久| 国产精品在线一区二区| 性色一线| 欧美日韩香蕉| 东京热一区二区中文字幕| 亚洲精品国产熟女久久久| 亚洲AV无码天美传媒一区| 丝袜剧情| 国产强奸无码乱伦| 欧美日韩狠狠爱| 亚热日本熟女| 亚州精品一区二区三区香中文字幕在线| www.91逼逼.com| com 首页 18岁 禁区 女优 免费 精选 同城| 蜜桃在线观看一区二区三区| 女人高潮大叫一级毛片| 中文字幕,人妻,日韩| 国产精品久久久久久久久久久久久久| 国产和美国毛片| 麻豆国产原创AV色哟哟 | 免费啪啪啪网站18岁| CCYY草草影院地址入口| 午夜传煤十二区精品| 久久视频,这里只有精品| 99re8超碰| 青青久日| 免费看黄片现成| 999精品女人| 日韩精品区二区三区不卡| www.五月天| 国产欧美一区二区| 大香蕉伊人在线成人AV在线观看| 亚洲欧美一区二区不卡视频播放 | 精品成人av一区二区三区在线| 蜜桃臀av在线观看| 91大神电影天堂| 少妇内射www在线观看视频| 久久中文字幕女同性恋一区| 欧洲亚洲人妻无码久久三区四区| 酒色综合网| 性爱AV天堂| 成人开心网在线视频| 翔田千里AV无码秘 三区| 国内偷自视频区视频综合| 日韩视频啪啪| 蜜臀久久99精品久久综合| 欧美在线l亚洲| 欧美另类天堂| 国产91精品在线免费| 国产高清免费不卡av| 天天日夜夜爽| 中文字幕少妇色| 欧美熟女逼久久久久久| 欧美 亚洲| 日韩在线一区二区| 国产一级片| 天天看人人操屄犊摸阴| 四虎影视国产精品| 欧美日本成人一区二区| 逼逼逼逼操操操操操操操操操午夜剧场| 色婷久久| 97超碰免费人人性爱| 美女91网| 黄片免费视频2019| 成人免费不卡在线视频| 福利偷拍视频-中文字幕2019国语完整视频大全-S91AV | 真实高潮91| 一本大道久| 无码动漫av中文字幕| 一级A啪啪啪啪| 欧美国产视频| 久久久久久久9| 亚欧日韩成人| 香蕉99秘 精品一区丁香| 97精品综合久久网| 少妇久久久久久| 日本在线不卡v二区| 夜夜操91744565| 亚洲色婷婷综合久久久久中文| 欧美性爱18观看| 五月激情视频| 老司机久久| 久草新在线| av日韩在线观看电影| 青青草吊丝| 国产精品农村妇女精品| 丰满人妻无码一区二区三区| 久久精精区一区二区一蜜桃一区二区| 亚洲色图伊人网| 中文字幕欧美丝袜07资源| 日本精品高清一二区一本到| 五月婷婷hd| 丰满人妻一区二区三区免费 | 久操高青| 超碰97日韩| 噜噜噜在线视频| 亚洲性爱高潮影院| 亚洲老司机123专区| 亚洲欧美日韩偷拍色图| 五月丁香激情综合| 91综合在线| 太久视频| 91丨九色丨国产打屁股| 久操精品网| 97资源免费视频| 国内偷拍精品一区二区| 嫖老熟女A片一二三区| 97色论| 97综合激情| 玖玖爱免费观看视频| 大香蕉伊利av| 男人的天堂亚洲| 一区二区三区在线日韩影院观看| 亚洲欧美第一页| 久色网| 亚洲色悠悠久久88| 日韩免费高清大片在线| www.色婷婷| 亚洲日韩狠狠撸视频| 强奸乱伦中文字幕AV| 日本精品国产视频| 久久精品国产亚洲AV先锋| 日韩中文字幕在线视频观看| 中文乱码99| 亚洲天堂久久久久久粉红视频| 青青草天天亲夜夜操网| 国产精品3| 97精品熟女少妇一区| 免费看污网站| 亚洲一级黄色毛片| 成人情色一区二区| 水滴偷拍| 噜噜吧,噜噜色,噜噜| 91亚洲丝袜| 狠狠中文字幕| 目产99999久久999| 欧美偷拍区| 久久中文色图| 欧美日韩国产一区二区小黄片大全| 999日韩中文精品观看视频。| 深喉吞精| 婷婷激情五月综合| 91精品人妻一品二品三品| 国产67194| 欧美色交| 99热在线播放| 外国免费性情大片| 欧美亚洲日韩人妻在线观看| 91男同| 免费观看的黄色的网站| 97在线青| 国产亚洲深夜激情| 欧美综合在线91| 久久五月天婷婷丁香中文字幕| 日本韩国一本产品小视频日本韩国一本产品久久久产品小视频日本韩国一本产品久 | 国产精品99999| 亚洲性综合9| 国产丝袜欧美在线视频| 超清福利精品视频在线| 国产传媒日本欧美专区| 啊啊啊好想要| 97玖玖人妻| 精品国产一区探花在线观看| 伊人亚洲国产一成人久久精品,久久| 午夜精品久久久久久久久久久久久| 九九这里只有精品| 中文字幕欧美丝袜07资源| 污到发麻的视频 国产| 欧美性爱精品七区|