日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

CANN ops-transformer 中 ApplyRotaryPosEmbGrad 算子詳解:雙路旋轉(zhuǎn)位置編碼反向計算的融合實現(xiàn)與調(diào)用指南

CANN ops-transformer 中 ApplyRotaryPosEmbGrad 算子詳解:雙路旋轉(zhuǎn)位置編碼反向計算的融合實現(xiàn)與調(diào)用指南 CANN ops-transformer 中 ApplyRotaryPosEmbGrad 算子詳解雙路旋轉(zhuǎn)位置編碼反向計算的融合實現(xiàn)與調(diào)用指南【免費下載鏈接】ops-transformer本項目是CANN提供的transformer類大模型算子庫實現(xiàn)網(wǎng)絡(luò)在NPU上加速計算。項目地址: https://gitcode.com/cann/ops-transformerApplyRotaryPosEmbGrad 是 CANN ops-transformer 算子庫中旋轉(zhuǎn)位置編碼RoPERotary Position Embedding系列的反向算子它將 query 與 key 兩路的 RoPE 梯度計算融合進一次 kernel 調(diào)用同時可選輸出 cos/sin 的梯度。本文以 README 為主體結(jié)合倉庫內(nèi) aclnn 接口文檔、PyTorch 封裝、tiling 與 kernel 源碼完整講解該算子的數(shù)學(xué)原理、參數(shù)約束、兩種調(diào)用方式以及底層多模板調(diào)度實現(xiàn)幫助你直接上手訓(xùn)練場景下的 RoPE 反向計算。一、算子功能與應(yīng)用場景該算子是雙路旋轉(zhuǎn)位置編碼算子 ApplyRotaryPosEmb 的反向算子核心功能如下執(zhí)行雙路反向計算同時計算query和key的 rope 反向梯度融合為一次 kernel 調(diào)用節(jié)省開銷相比分別對 query、key 各執(zhí)行一次反向 kernel融合實現(xiàn)節(jié)省了 cos/sin 的重復(fù)加載和 kernel launch 開銷可選計算 cos/sin 梯度當(dāng)正向輸入query、key同時傳入時額外計算grad_cos與grad_sin供需要更新 cos/sin 參與反傳的場景使用。從產(chǎn)品支持情況看該算子目前僅面向Ascend 950PR / Ascend 950DT產(chǎn)品即源碼配置目錄 config/ascend950 對應(yīng)的 SoCAtlas A2/A3、Atlas 200I/500 A2、Atlas 推理/訓(xùn)練系列等產(chǎn)品均不支持。表格如下產(chǎn)品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 訓(xùn)練系列產(chǎn)品/Atlas A3 推理系列產(chǎn)品×Atlas A2 訓(xùn)練系列產(chǎn)品/Atlas A2 推理系列產(chǎn)品×Atlas 200I/500 A2 推理產(chǎn)品×Atlas 推理系列產(chǎn)品×Atlas 訓(xùn)練系列產(chǎn)品×二、數(shù)學(xué)原理與計算公式旋轉(zhuǎn)位置編碼RoPE的核心思想是在 Head-Dim 維度上將每個頭的向量按 D/2 拆成前后兩半通過 cos/sin 旋轉(zhuǎn)矩陣完成位置信息注入。反向計算即對該旋轉(zhuǎn)過程求導(dǎo)。取正向計算中cos、sin發(fā)生 broadcast 的軸列表為dims即 cos/sin 中取值為 1、而grad_query_embed/grad_key_embed中對應(yīng)維度大于 1 的軸包含 N 軸以及 BSND、SBND 布局下可選的 B 軸rotary_mode為half時的計算公式如下。1對輸入梯度做末維對半切分$$ grad_q_1, grad_q_2 chunk(grad_query_embed, chunks2, dim-1) $$$$ grad_k_1, grad_k_2 chunk(grad_key_embed, chunks2, dim-1) $$$$ cos_1, cos_2 chunk(cos, chunks2, dim-1) $$$$ sin_1, sin_2 chunk(sin, chunks2, dim-1) $$2構(gòu)造旋轉(zhuǎn)后的正向向量用于 cos/sin 梯度$$ query_rotate cat((-query_2, query_1), dim-1) $$$$ key_rotate cat((-key_2, key_1), dim-1) $$3計算 query/key 的梯度$$ grad_query cat(cos_1 * grad_q_1 sin_2 * grad_q_2, cos_2 * grad_q_2 - sin_1 * grad_q_1, dim-1) $$$$ grad_key cat(cos_1 * grad_k_1 sin_2 * grad_k_2, cos_2 * grad_k_2 - sin_1 * grad_k_1, dim-1) $$4當(dāng)同時傳入 query 和 key 時沿廣播軸 dims 歸約得到 cos/sin 梯度$$ grad_cos sum(grad_query_embed * query grad_key_embed * key, dims) $$$$ grad_sin sum(grad_query_embed * query_rotate grad_key_embed * key_rotate, dims) $$倉庫中的測試 golden 腳本 tests/assets/golden.py 以注釋形式完整復(fù)現(xiàn)了上述公式并注明“所有路徑統(tǒng)一升 FP32 計算結(jié)果轉(zhuǎn)回輸入 dtype”可供理解參考。三、參數(shù)說明各參數(shù)的完整說明如下表參數(shù)名輸入/輸出/屬性描述數(shù)據(jù)類型數(shù)據(jù)格式grad_query_embed輸入正向輸出 query 的導(dǎo)數(shù)對應(yīng)公式中 $grad_q_{embed}$。BFLOAT16、FLOAT16、FLOAT32NDgrad_key_embed輸入正向輸出 key 的導(dǎo)數(shù)對應(yīng)公式中 $grad_k_{embed}$。BFLOAT16、FLOAT16、FLOAT32NDcos輸入正向計算輸入 cos需與 grad_query_embed 數(shù)據(jù)類型一致。BFLOAT16、FLOAT16、FLOAT32NDsin輸入正向計算輸入 sin需與 grad_query_embed 數(shù)據(jù)類型一致。BFLOAT16、FLOAT16、FLOAT32NDquery可選輸入正向計算輸入 query。如果為空指針則不計算 grad_cos 和 grad_sin必須與 key 同時傳入或同時不傳入。BFLOAT16、FLOAT16、FLOAT32NDkey可選輸入正向計算輸入 key。如果為空指針則不計算 grad_cos 和 grad_sin必須與 query 同時傳入或同時不傳入。BFLOAT16、FLOAT16、FLOAT32NDrotary_mode屬性旋轉(zhuǎn)模式僅支持 half。STRING-layout屬性輸入 Tensor 的布局格式。1BSND2SBND4TND。默認值為 1。INT64-grad_query輸出正向計算輸入 query 的導(dǎo)數(shù)shape 與 grad_query_embed 相同。BFLOAT16、FLOAT16、FLOAT32NDgrad_key輸出正向計算輸入 key 的導(dǎo)數(shù)shape 與 grad_key_embed 相同。BFLOAT16、FLOAT16、FLOAT32NDgrad_cos輸出正向計算輸入 cos 的導(dǎo)數(shù)僅當(dāng) query 和 key 非空時有效。BFLOAT16、FLOAT16、FLOAT32NDgrad_sin輸出正向計算輸入 sin 的導(dǎo)數(shù)僅當(dāng) query 和 key 非空時有效。BFLOAT16、FLOAT16、FLOAT32ND關(guān)于 layout 的補充說明BBatch批量大小SSeq-Length序列長度NHead-Num多頭數(shù)DHead-Dim每個頭的隱藏維度大小TB 和 S 的合軸layout4時輸入為 3 維 Tensor其他 layout 下為 4 維。從 算子定義源碼 可以看到host 側(cè)注冊的輸入輸出 dtype 均為DT_FLOAT16 / DT_FLOAT / DT_BF16格式為FORMAT_ND屬性默認值分別為rotary_modehalf、layout1與上述參數(shù)表完全對應(yīng)同時注冊了DynamicCompileStaticFlag / DynamicRankSupportFlag / DynamicShapeSupportFlag表明算子支持動態(tài) shape。四、約束說明輸入輸出 Tensor 只支持 3 維或 4 維layout 為 1 或 2 時為 4 維layout 為 4 時為 3 維。輸入輸出 Tensor 的 dtype 必須相同。輸入輸出 Tensor 不支持空 Tensor各維度必須大于 0。輸入輸出 Tensor 的 layout 必須相同。輸入輸出 Tensor 的 D 軸必須相同在 half 模式下必須 ≤ 1024 且能被 2 整除。grad_query_embed、grad_query的 shape 必須相同grad_key_embed、grad_key的 shape 必須相同。對于任意 layoutgrad_query_embed和grad_key_embed除 N 維度外其它維度必須相同。cos、sin的 N 維度必須等于 1layout 為 1BSND或 2SBND時cos、sin的 B 維度可以等于 1也可以和grad_query_embed的 B 維度一致layout 為 4TND時cos、sin的 T 維度必須和grad_query_embed的 T 維度一致除 N及 BSND、SBND 布局下可選廣播的 B維度外其余維度需與grad_query_embed一致。cos、sin、grad_cos、grad_sin的 shape 必須相同。query維度需與grad_query_embed一致key維度需與grad_key_embed一致且query和key必須同時傳入或同時不傳入。rotary_mode僅支持 half。layout僅支持 {1, 2, 4}對應(yīng) {BSND, SBND, TND}。3BNSD 為預(yù)留暫不支持。這些約束在 tiling 源碼中均有對應(yīng)的顯式校驗。例如 apply_rotary_pos_emb_grad_tiling.cpp 中CheckRotaryModeShapeRelation()校驗 D 軸≤ 1024D_LIMIT且% 2 0HALF_MODE_COEFValidateBroadcastByLayout()按 BSND/SBND/TND 分別校驗 cos/sin 的 B/S/T 與 N 軸廣播關(guān)系TND 下 cos 的 T 軸必須等于 grad_query_embed 的 TN 軸必須為 1BSND/SBND 下 cos 的 B 軸必須為 1 或等于輸入 BS 軸必須一致CheckShape()校驗grad_query_embed與grad_key_embed除 N 軸4D 布局下的 dim 2外各維度相同CheckOptionalInput()校驗 query 與 grad_query_embed、key 與 grad_key_embed、cos 與 grad_cos、sin 與 grad_sin 的 shape 全等。五、aclnn 調(diào)用方式兩段式接口aclnn 調(diào)用遵循 CANN 單算子調(diào)用的兩段式接口規(guī)范必須先調(diào)用第一段aclnnApplyRotaryPosEmbGradGetWorkspaceSize完成入?yún)⑿r灢⒂嬎?workspace 大小再調(diào)用第二段aclnnApplyRotaryPosEmbGrad執(zhí)行計算。函數(shù)原型如下aclnnStatus aclnnApplyRotaryPosEmbGradGetWorkspaceSize( const aclTensor *gradQueryEmbed, const aclTensor *gradKeyEmbed, const aclTensor *cos, const aclTensor *sin, const aclTensor *queryOptional, const aclTensor *keyOptional, char *rotaryModeOptional, int64_t layout, const aclTensor *gradQueryOut, const aclTensor *gradKeyOut, const aclTensor *gradCosOut, const aclTensor *gradSinOut, uint64_t *workspaceSize, aclOpExecutor **executor)aclnnStatus aclnnApplyRotaryPosEmbGrad( void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream)5.1 第一段接口參數(shù)與返回值第一段接口的參數(shù)細節(jié)完整見 aclnnApplyRotaryPosEmbGrad 接口文檔參數(shù)名輸入/輸出描述使用說明數(shù)據(jù)類型維度(shape)非連續(xù)TensorgradQueryEmbed輸入正向輸出 query 的導(dǎo)數(shù)對應(yīng) grad_q_embed不支持空 TensorBFLOAT16/FLOAT16/FLOAT324(layout 1/2)或 3(layout 4)√gradKeyEmbed輸入正向輸出 key 的導(dǎo)數(shù)對應(yīng) grad_k_embed與 gradQueryEmbed 類型和維度一致不支持空 Tensor同上同上√cos輸入正向計算輸入 cos與 gradQueryEmbed 類型和維度一致N 維必須為 1同上同上√sin輸入正向計算輸入 sin與 gradQueryEmbed 類型和維度一致N 維必須為 1同上同上√queryOptional可選輸入正向輸入 query空指針時不計算 gradCos/gradSin與 keyOptional 必須同時傳入或同時不傳同上同上√keyOptional可選輸入正向輸入 key空指針時不計算 gradCos/gradSin與 queryOptional 必須同時傳入或同時不傳同上同上√rotaryModeOptional輸入旋轉(zhuǎn)模式僅支持 halfSTRING--layout輸入輸入 Tensor 布局1-BSND2-SBND4-TND3-BNSD(預(yù)留)INT64--gradQueryOut輸出query 的導(dǎo)數(shù)與 gradQueryEmbed 類型和維度一致同上同上×gradKeyOut輸出key 的導(dǎo)數(shù)與 gradQueryEmbed 類型和維度一致同上同上×gradCosOut輸出cos 的導(dǎo)數(shù)query/key 非空時有效與 gradQueryEmbed 類型和維度一致同上同上×gradSinOut輸出sin 的導(dǎo)數(shù)query/key 非空時有效與 gradQueryEmbed 類型和維度一致同上同上×workspaceSize輸出Device 側(cè)需申請的 workspace 大小----executor輸出op 執(zhí)行器包含算子計算流程----第一段接口完成入?yún)⑿r灣霈F(xiàn)以下場景時報錯具體錯誤碼定義見 aclnn 返回碼返回值錯誤碼描述ACLNN_ERR_PARAM_NULLPTR161001必選輸入 gradQueryEmbed、gradKeyEmbed、cos、sin 和必選輸出 gradQueryOut、gradKeyOut 是空指針ACLNN_ERR_PARAM_INVALID161002輸入輸出數(shù)據(jù)類型/格式不在支持范圍、shape 不滿足校驗、維度不在支持范圍、queryOptional 與 keyOptional 未成對傳入、或 rotaryMode/layout 不符合支持值第二段接口接收workspace、workspaceSize、executor與stream四個參數(shù)workspace為 Device 側(cè)申請的臨時內(nèi)存地址workspaceSize由第一段接口計算得出executor為第一段接口返回的 op 執(zhí)行器stream指定任務(wù)執(zhí)行的 Stream 流。注意第二段接口不可重復(fù)調(diào)用每次執(zhí)行需重新走兩段式流程。5.2 完整調(diào)用示例倉庫提供了可參考的完整示例 examples/test_aclnn_apply_rotary_pos_emb_grad.cpp核心流程如下編譯與運行方法參考編譯與運行樣例#include acl/acl.h #include aclnnop/aclnn_apply_rotary_pos_emb_grad.h #include iostream #include vector // 1. 資源初始化aclInit / aclrtSetDevice / aclrtCreateStream固定寫法 // 2. 構(gòu)造輸入輸出以 BSND layout、D128 為例 std::vectorint64_t gradQEmbedShape {1, 1, 1, 128}; std::vectorint64_t gradKEmbedShape {1, 1, 1, 128}; std::vectorint64_t cosShape {1, 1, 1, 128}; // N 維必須為 1 std::vectorint64_t sinShape {1, 1, 1, 128}; std::vectorint64_t queryShape {1, 1, 1, 128}; std::vectorint64_t keyShape {1, 1, 1, 128}; std::vectorint64_t gradQueryOutShape {1, 1, 1, 128}; std::vectorint64_t gradKeyOutShape {1, 1, 1, 128}; std::vectorint64_t gradCosOutShape {1, 1, 1, 128}; std::vectorint64_t gradSinOutShape {1, 1, 1, 128}; int64_t layout 1; // BSND const char *rotaryModeOptional half; // 通過 aclrtMalloc aclrtMemcpy 將 host 數(shù)據(jù)搬入 device // 再以 aclCreateTensor(..., ACL_FORMAT_ND, ...) 構(gòu)造各 aclTensor // 3. 第一段接口計算 workspace 大小并創(chuàng)建 executor uint64_t workspaceSize 0; aclOpExecutor *executor; ret aclnnApplyRotaryPosEmbGradGetWorkspaceSize( gradQueryEmbed, gradKeyEmbed, cos, sin, query, key, const_castchar *(rotaryModeOptional), layout, gradQueryOut, gradKeyOut, gradCosOut, gradSinOut, workspaceSize, executor); // 4. 按 workspaceSize 申請 device 內(nèi)存 void *workspaceAddr nullptr; if (workspaceSize 0) { ret aclrtMalloc(workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); } // 5. 第二段接口執(zhí)行計算 ret aclnnApplyRotaryPosEmbGrad(workspaceAddr, workspaceSize, executor, stream); // 6. 同步并取回結(jié)果 ret aclrtSynchronizeStream(stream); ret aclrtMemcpy(resultData.data(), ..., gradQueryOutDeviceAddr, ..., ACL_MEMCPY_DEVICE_TO_HOST); // 7. 釋放 aclTensor、device 內(nèi)存與 stream示例中 shape 均取{1, 1, 1, 128}BSN1、D128滿足 D ≤ 1024 且可被 2 整除query/key 同時傳入以觸發(fā) grad_cos/grad_sin 計算。實際使用時可根據(jù)模型配置替換為 BSND、SBND 或 TND 布局并注意 cos/sin 的 N 維必須為 1。六、PyTorch API 調(diào)用方式PyTorch 側(cè)封裝位于 torch_extension/apply_rotary_pos_emb_grad.py通過torch.library注冊自定義算子并以PrivateUse1后端分發(fā)到 NPU。函數(shù)原型如下完整文檔見 torchapi_apply_rotary_pos_emb_gradcann_ops_transformer.apply_rotary_pos_emb_grad( grad_query_embed, grad_key_embed, cos, sin, *, queryNone, keyNone, rotary_modehalf, layout1, ) - (Tensor, Tensor, Optional[Tensor], Optional[Tensor])6.1 參數(shù)說明參數(shù)名參數(shù)類型可選/必選描述數(shù)據(jù)類型維度(shape)grad_query_embedTensor必選正向輸出query_out的梯度bfloat16、float16、float32layout4 時為 (T, Nq, D)其他 layout 下為 4 維 Tensorgrad_key_embedTensor必選正向輸出key_out的梯度除 N 維度外 shape 需與 grad_query_embed 一致同 grad_query_embedlayout4 時為 (T, Nk, D)其他 layout 下為 4 維 TensorcosTensor必選正向計算輸入的余弦值張量N 維度必須等于 1同 grad_query_embed與輸入布局對應(yīng)的 3 維或 4 維 TensorsinTensor必選正向計算輸入的正弦值張量shape 需與 cos 一致同 grad_query_embed同 cosqueryTensor可選正向計算輸入 query傳入時計算 grad_cos 和 grad_sin必須與 key 同時傳入或同時不傳入默認 None同 grad_query_embed與 grad_query_embed 一致keyTensor可選正向計算輸入 key傳入時計算 grad_cos 和 grad_sin必須與 query 同時傳入或同時不傳入默認 None同 grad_query_embed與 grad_key_embed 一致rotary_modestr可選旋轉(zhuǎn)編碼模式僅支持 half默認 half--layoutint可選1 表示 BSND2 表示 SBND4 表示 TND默認 1--返回值說明grad_queryTensor正向輸入 query 的梯度shape 和數(shù)據(jù)類型與 grad_query_embed 一致grad_keyTensor正向輸入 key 的梯度shape 和數(shù)據(jù)類型與 grad_key_embed 一致grad_cosOptional[Tensor]正向輸入 cos 的梯度query 和 key 均傳入時 shape 與 cos 一致否則為Nonegrad_sinOptional[Tensor]正向輸入 sin 的梯度query 和 key 均傳入時 shape 與 sin 一致否則為None。封裝源碼中的_check_inputs函數(shù)在 Python 側(cè)提前完成了與上節(jié)約束一致的校驗dtype 僅支持 float16/float32/bfloat16 且必須一致、維度必須為 3 或 4、TND(4) 布局要求 3 維輸入、query/key 必須成對出現(xiàn)、query 與 grad_query_embed shape 相等、key 與 grad_key_embed shape 相等、rotary_mode 僅支持 half 等。Meta 實現(xiàn)apply_rotary_pos_emb_grad_meta則負責(zé) shape/dtype 推導(dǎo)支撐 Autograd 與 FakeTensor 場景。6.2 單算子模式調(diào)用示例import torch import torch_npu from cann_ops_transformer.ops import apply_rotary_pos_emb_grad torch_npu.npu.set_device(0) B 1 S 64 N 8 D 128 grad_query_embed torch.randn(B, S, N, D, devicenpu, dtypetorch.float16) grad_key_embed torch.randn(B, S, N, D, devicenpu, dtypetorch.float16) cos torch.randn(B, S, 1, D, devicenpu, dtypetorch.float16) # N 維為 1可廣播 sin torch.randn(B, S, 1, D, devicenpu, dtypetorch.float16) query torch.randn(B, S, N, D, devicenpu, dtypetorch.float16) key torch.randn(B, S, N, D, devicenpu, dtypetorch.float16) grad_query, grad_key, grad_cos, grad_sin apply_rotary_pos_emb_grad( grad_query_embed, grad_key_embed, cos, sin, queryquery, keykey, rotary_modehalf, layout1, # BSND ) print(fgrad_query shape: {grad_query.shape}) print(fgrad_key shape: {grad_key.shape}) print(fgrad_cos shape: {grad_cos.shape}) print(fgrad_sin shape: {grad_sin.shape})該示例展示了 BSND 布局下帶 cos/sin 梯度的完整調(diào)用cos/sin取(B, S, 1, D)N 維為 1 從而沿 N 軸廣播若不需要 grad_cos/grad_sin將query、key均置為None即可返回的 grad_cos/grad_sin 為None。6.3 與正向算子的配套使用該算子為 apply_rotary_pos_emb 的反向算子。正向接口使用rotary_modehalf時對 loss 執(zhí)行.backward()會自動觸發(fā)本算子僅在需要顯式控制梯度時才需要手動調(diào)用本接口。該接口支持訓(xùn)練場景下單算子模式調(diào)用且默認支持確定性計算aclnn 與 torch API 文檔均明確標(biāo)注“默認確定性實現(xiàn)”。七、底層實現(xiàn)從算子定義到多模板調(diào)度7.1 算子定義與 shape 推導(dǎo)apply_rotary_pos_emb_grad_def.cpp注冊 6 個輸入grad_query_embed、grad_key_embed、cos、sin 為 REQUIREDquery、key 為 OPTIONAL、4 個輸出grad_query、grad_key 為 REQUIREDgrad_cos、grad_sin 為 OPTIONALdtype 支持 FLOAT16/FLOAT/BF16格式統(tǒng)一 ND并聲明DynamicCompileStaticFlag(true)、DynamicRankSupportFlag(true)、DynamicShapeSupportFlag(true)AICore 配置僅注冊 ascend950。apply_rotary_pos_emb_grad_infershape.cppgrad_query 繼承 grad_query_embed 的 shape、grad_key 繼承 grad_key_embed 的 shape、grad_cos 繼承 cos 的 shape、grad_sin 繼承 sin 的 shapeSetGradOutputShapedtype 同理逐輸出透傳動態(tài) shape 下以 -2unknown rank/-1unknown dim占位。7.2 tiling 階段的廣播判定與三模板調(diào)度tiling 核心邏輯位于 apply_rotary_pos_emb_grad_tiling.cpp 及三個模板實現(xiàn)文件_bab/_ab/_a。host 側(cè)先執(zhí)行一整套參數(shù)校驗dtype、維度、D 軸上限與奇偶、cos/sin 廣播關(guān)系、query/key 成對性等隨后按 shape 關(guān)系判定內(nèi)部ApplyRopeGradLayoutTND 布局3 維輸入退化為 B1 的 BSND 處理若 N1 則走 NO_BROADCASTA 模板BSND 布局cos 的 B 軸等于 1 時進入 BSND 廣播BAB 模板cos 的 B 軸與輸入 B 一致時進入 SBNDAB 模板若 cos 與輸入各維度完全一致含 gk 的 N 軸則判定為無廣播A 模板SBND 布局shape 完全一致時回落 NO_BROADCASTA 模板否則按 AB 模板處理。最終通過三種 kernel tiling key 調(diào)度見 apply_rotary_pos_emb_grad_apt.cpp 中的枚舉Tiling Key枚舉值適用場景TILING_KEY_BAB203BSND 布局 cos B 軸1B/S/N 三層廣播迭代TILING_KEY_AB204SBND 布局或 BSND 下 cos B 軸與輸入一致TILING_KEY_A205無廣播shape 完全一致最簡路徑7.3 kernel 執(zhí)行流程與 workspacekernel 側(cè)以__global__ __aicore__模板函數(shù)實現(xiàn)AIC 核直接返回、僅 AIV 核執(zhí)行。計算分為兩個 PhasePhase 1計算 grad_query / grad_key。BAB/AB 模板下若同時需要 grad_cos/grad_sinDcosFlag1會在 kernel 內(nèi)同步累加 grad_cos/grad_sin 的部分積并寫入 workspaceA 模板則分三個階段先算 dx再預(yù)計算rotate(query)/rotate(key)寫入 workspace最后通過ApplyDcosDsin高層 Mul 與 Q/K 累加直接寫回 GM。Phase 2Reduce 歸約。僅廣播模板BAB/AB需要——將 Phase 1 產(chǎn)生的 dcos/dsin 部分積沿廣播軸N 軸等跨核歸約得到最終的 grad_cos/grad_sinA 模板因無廣播無需 Reduce。workspace 大小由 tiling 計算并寫入 tiling datausrWorkSpaceSize b * s * max(nQ, nK) * d * partialTypeSize * INPUT_OUTPUT_NUM兩份部分積廣播模板下 partialTypeSize 為 float 大小A 模板還有 16MB 的系統(tǒng) workspace 預(yù)留這與第一段接口返回的workspaceSize直接對應(yīng)。7.4 配置與測試驗證算子二進制按 dtype 拆分為三個 binApplyRotaryPosEmbGrad_1/2/3對應(yīng) float16/bfloat16/float32見 apply_rotary_pos_emb_grad_binary.json單測覆蓋 infershape 與 tiling 校驗邏輯tests/ut/op_hostkernel 級 UT 直接包含_apt.cpp源碼完成模板實例化覆蓋 BAB/AB/A 三條路徑tests/ut/op_kernel/arch35/test_apply_rotary_pos_emb_grad.cpp多路徑 golden 腳本 tests/assets/golden.py 同時為 kernel spec、aclnn spec 與 E2E spec 提供參照實現(xiàn)q/k 兩路分別歸約以兼容 Nq ≠ Nk。八、總結(jié)ApplyRotaryPosEmbGrad 是 CANN ops-transformer 中面向 Ascend 950PR/950DT 的雙路 RoPE 反向算子它一次 kernel 調(diào)用同時產(chǎn)出 grad_query、grad_key并在傳入 query/key 時額外產(chǎn)出 grad_cos、grad_sin內(nèi)部依據(jù)布局與廣播關(guān)系在 BAB/AB/A 三種模板間自動選擇配合 Reduce 歸約與部分積 workspace 完成帶廣播的反向計算。實際使用時重點把握三類約束D 軸 ≤ 1024 且為偶數(shù)、cos/sin 的 N 維必須為 1、query 與 key 必須成對出現(xiàn)。相關(guān)接口文檔與示例代碼可直接參考 aclnnApplyRotaryPosEmbGrad 文檔、torchapi 文檔 與 調(diào)用示例?!久赓M下載鏈接】ops-transformer本項目是CANN提供的transformer類大模型算子庫實現(xiàn)網(wǎng)絡(luò)在NPU上加速計算。項目地址: https://gitcode.com/cann/ops-transformer創(chuàng)作聲明:本文部分內(nèi)容由AI輔助生成(AIGC),僅供參考
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲精品久久久久毛片A片拉屎 | 国产美女自拍视频| 九色精品视频导航1| 欧美夜夜狠| 日本精品加勒比海一区| 亚州操操穴网| av网站在线看| 日韩丝袜人妻AV| 91精品导航| 黄色网址在线免费观看| 国产成人主播| 国产传媒午夜理伦精品| 亚洲精品国产精品乱码不卡| 爽极品影院| 超碰 另类 欧美| 天天爱天天操| 男人天堂2019亚洲| 日躁天天爽爽| 另类亚洲图色| 国产欧美精选激情视频| 天堂伊人久久| 中文字幕123| 天美传媒精品一区二区三区| 色综合尤物| 熟女高潮合集-永久久久-成人AV| 无码高清国产AV| 韩国女主播青草在线| 国模私拍一区二区三区神乳| 超碰夫妻97| 国产极品99热在线播放69| 操亚州| 日韩av不卡在线看| 国产一区二区精品在线视频| 欧美色性爱| 婷婷九月丁香| baisiav| 国产精品人妻无码久久久互動交流| 日本美女性生活久久久久久久 | 亚洲限制级| 亚洲成人无码影院| 欧美一级二级三级| 亚洲免费97免费| 黄色网址在线免费观看| 日韩天天综合| 精品十三区| 亚洲精品蜜桃久久久一区二区三区| 妇女一区二区三区| 久久嫩草国产成人一区| 精品视频久久久久九九九九9999| 国产呦精品系列在线观看| 日本 免费 一区二区三区 久久香蕉 | 欧美第五页| 黄色大片一区二区密桃丝袜| 亚洲国产成人福利在线观看| 玖玖久久久| 啊啊啊啊啊好大好舒服想要| 五月天精品| 91中出视频| 人妻激情偷乱视频一区二区三区 | 日韩八十路老熟女| 女人爽到高潮久久久| AAAA级日本片免费视频| 1204金沙人妻懂旧版免费| 成人久久久精品| 午夜偷拍久久熟女| 一级乱伦网站| 国偷自 一区二区| 亚洲成人网站在线观看| 久久久久久久九九九九九九| 97视频免费在线| 99成人| 看免费的黄片| 97国产精品一区| 精品国产国产AV| 曰韩av中文字幕专区| 97精品视频| 亚洲一区亚洲天堂| 人人乐大香蕉| 亚洲国产成人精品无码专区| 久久精品国产亚洲AV先锋| 青青草国产盗摄一二三区| 亚洲av无线观看| 天美传媒婬乱| 后入合集| 国产午夜在线观看视频| 91视频女生| 亚洲男人天堂网久久| 懂色AV蜜臀无码精品APP| 亚洲人综合19| 午夜精品人妻二区三区| 北条麻妃99精品青青久久| 91爆操视频| 影音先锋日本乱伦| 欧美欧美啪啪视频| 人人九九精| 激情图片亚洲色图| 四月丁香婷婷| 殴美,日韩国产伦精品| 国产乱码精品一区二区三区四川| 3P乱轮视频| 久久久久久亚洲Av无码精| 久热最新在线杭州| 久久久久久综合久久伊人蜜月| 精品一二三区女同| 久久曰曰| 你懂的在线观看区国产 | 欧美一区二区在线资源| 国模限制级电影| 美国一区二区免费视频| 超碰AV在线| 国产激情综合| 五月天激情婷婷| 欧美劲爆视频一区二区| 一区二区偷拍拍视频| 免费的黄片wwwwww| 男男H黄动漫啪啪无遮挡网站| 超碰国产精品无码| 国产精品视频麻豆入口| 99久久e免费热视| 国产日韩色综合| 亚洲在线网站| 欧美传媒| 国产免费永久精品无码| 中文字幕精品资源在线| 日韩有码免费视频| 97超碰色五月| 欧美色图片91| 天天懆天天日| 久久久久亚洲AV无码专区少妇| 少妇久久久| 国产精品久久久 | 9久精品视频在线观看| 天天天天天天天天综合| julia中文字幕在线观看| 英伦大奶子熟妇吊带| 九月丁香婷婷| 国桃视频产巨乳精品一区二区在线| 秋霞一区二区三区四区五区六区七区| 国产人妻精品一区二区三区秋霞| 97人人爱人人乐| 天天干嫩逼网| 国产一区二区三区白丝| 99热在线观看| 综合久欧洲| 国产男女无套97| 亚洲少妇激情视频| 97色欧洲| 夜夜草天天| 蜜乳Av成人片网站| 大香蕉黄色一区| 嗯嗯不要 视频| 天堂网亚洲区手机版| 亚洲熟女综合网| A 在线网址| 日本女人操逼| 天天享受天天看| 亚洲综合色图欧美| 无码人妻精品一区二区中文 | 人人操欧美风骚| 26UUU欧美日本| 一区AV| 无码外流操逼视频| 熟女突然公开看18禁影片 | 乱伦Av网| 亚洲熟妇极品| 国产女人9999| 欧美激情专区| 伊人网综合在线视频| 女人高潮抽搐喷水视频网站| 人妻天天爽天天爽三区| 亚洲无无码αⅴ每日更新| www.色婷婷色综合| 长久操视频| 国产97/欧美| 色哟哟 日韩精品| 欧美性爱一区| 国产乱弄免费在线视频。| 欧美欧美啪啪视频| 啊啊嗯嗯好爽| caoni国产亚洲av| 婷婷丁香五月激情啪啪| 天天看高清麻豆| 91无遮挡| 婷婷伊人网| 91在线丝袜视频| 国产蜜臀精品一区二区尤物| 中文字幕一二区二三区人妻专区| 嗯嗯啊啊视频在线看| 樱花草社区www中国| 伊色久人大在线| 内射黑人| 91欧美亚洲| 国产精品蜜乳AV| 91精品人妻一区二区-全集完整版免费正片国语-B02AV | 亚洲最新Av| 一,爱啪啪,在线免费视频| 欧美日韩成人在线| 国产suv精品一区二六| 国产成人91一区二区三区| 亚洲欧洲国产综合av| 色九九九九| 人妻夜夜爽天天爽三区麻豆AV网站| 日韩一性一交一A片俄罗斯| 女生自91网站| 欧美大香蕉久| 成人久久无码www| 亚洲女人91| www久| 智利AV在线网| 91成人在线免费视频| 欧美白嫩在线放| 国产9区| 欧美一级色| 风流老熟女一区二区三区l| 国产怡红院| 黑人娇小av在线播放| 四虎AV在线观看| 欧美在线|亚洲| 高清一区AV无码| 久久人妇| 日本三级R| 亚洲偷91色| 综合久久六月久久婷婷| 超碰久久综合| 中文字幕在线观看丝袜| 91精品人| 日韩久久艹| 天天操天天射天天日| 加勒比av中文| av片在线观看免费播放| 欧美高清91| 五月丁香在线| 日本淫乱女一区二区三区视频| 久久久啊啊| 91蜜臀在线久久久久| 亚洲国产熟妇综合色专区| 一二三四日本视频高清| 久久这里是精品| 色香综合天天影视综合 | 福利视频香蕉免费一区二区在线| 中文字幕少妇色| av天堂天堂av日韩| 中文字幕1区2区| 麻豆久久久一区二区| 九九AV| jiujiujiujingpin| 97人人干| 日韩黄片影院| 国产97在线播放| 五月天激情四射| 亚洲精品九九九| 亚洲av热热色| 四虎影院成年人片| 日本成a人v网站在线观看| 麻豆精品天美| 91超碰人人| 人妻丰满熟妇一区二区三| 国产又长又大又粗的视频| 欧美激情综合色综合啪啪五月| 天天色综合图片| 69一区二区| 狠狠图片青青草| 秋霞免费AV| 狠狠婷婷亚洲中文综合久久| 欧美黑人168页欧美黑人167| 超碰97爽| 牛牛aV| 久久久96| 蜜臀视频网站| 97久久国产亚洲精品超碰热| 综合网,亚洲,欧美| 色青青久久影视| 亚洲久久久久| 综合熟妇一区二区三区| 97精品视频免费| 天美麻花大全视频| 小视频玖玖| 欧美翘臀视频网站一区二区三区| 呻吟 欧美 日本 中出| 蜜桃中文字日产乱幕4区| 亚洲AV操| 日韩在线一区高清在线| 久久精品国产亚洲AV先锋| 欧美亚洲综合999| 欧美色图偷拍另类| 日韩BBN| 99re在线视频| 男人网站婷婷| 97视频620| 偷拍亚洲高清图片| 天天干天天拍| 日韩中文字幕二区| 国产精品探花视频| 上海一级黄片| wwwxxx日本爽| 无码免费在线观看黄色片| 婷婷激情丁香| 伊人性在线视频| 99re综合伊人| 啊灬啊灬啊灬啊灬高潮奶出了免费视 | 国产精品呦一区二区三区| 日本一级真人黄色性爱视频| 久久精品28| 亚洲熟女乱综合一区二区在线-...亚洲国产日韩欧美一区二区三区,久久久久久精 | 99精品丰满人妻| 在线观看AV不卡| 日本高清一区二区在线| 天天日B夜夜干B时时操B| 狠狠操官网| 国产二区三区免费视频| 亚洲在线网站| 国产家庭乱伦表演| 一级岛国大片| 中日亚韩免费视频| 日韩激情小说一区二区| 国产精品国产自产高清AV| 欧美日韩国产另类综合| 久久久一区二区三区三州| 欧美人人曰人人操人人射射| 日韩三A大片在线观看 | 精品少妇99| 日韩精品三级| 91 亚洲情侣偷拍 久久| 中文久久96| 骚逼自拍99| 久久久草草精品| 久久久久九九九九九| 舔人妻中文免费视频| 天天爱综合网| 99rre在线精品99re8| 国产亚洲精品第一最新| 色999人与兽| AV天堂电影网| 日本 情色 1区2区3区| 亚洲中文字幕一区| 天天综合网~91| 九九热av| 欧美综合自拍| 操逼1区| 二色av| 亚州操操穴网| 秋霞鲁丝午夜无码一区二区三| 亚洲区限制级 99| 97在线播放 | 欧美最婬乱婬爆婬性视频 | 亚洲欧洲日本精品中文a∨| 在线综合 亚洲 欧美中文字幕| 2017大香蕉| 国产精品女生av| 欧美亚洲自拍另类人妻| www.色吧5.com| 狠狠操夜夜| 欧美精品人妻视频| 日韩欧美tv一区二区在线观看| 婷婷丁香六月天| 欧美一品道| 98超碰欧美| 久久精品国产久精国产| 天天搞在线综合网| 97色冈| 天天内射| 91视频女生| 秋霞 色色| 亚洲人成网站7777| 色黄污美女啪啪啪免费网站| 少妇干B| 尻女朋友一夜| 人妻丝袜一区二区三区在线| 日韩欧美中文日韩欧美色| 不卡啪啪视频| 97欧美色资源| 亚洲图片欧美色| 亚欧韩av| 亚州欧美一区| 人妻精品视频一区二区三区| 91超级碰| 国模91| 欧美天天干| a'v在线资源| 亚洲成人久久美女| 97热视频在线观看| 以及麻豆国产入口在线观看免费| 九九九九久久久| 欧美日韩另类字幕中文| 1769成人国产精品视频| 国产又爽又黄| 久热99999| 国产精品一区二区亚洲人成毛片| 人人爽天天爽| 久久亚洲一区女同性恋中文字幕 | 青青草中文-久久青草精品一区二区三| 嗯……啊…嗯嗯…啊…好舒服| 国产美女91| 国产AV激情无码久久无码| 嗯嗯啊啊啊好舒服| 最新日本中文字幕| 欧美一区91大爱| 青青草在线视频播放器| 凸凹视频在线观看| 91人妻视频| 综合久久97| 激情丁香五月婷婷| 欧美一区二区| 日本污ww视频网站| 夜夜精品视频一区二区| 在线无码操| 91美女高潮| 亚洲高清无码AAA久久久精品| 男人的天堂在线| 国产精品视频麻豆入口| 久久久久久久六六| 欧美亚洲日本视频久久久| 亚洲综合射| 九九精品无码专区免费| 国产亚洲色婷婷99精品91| A级毛片在线看免费| 极品粉嫩少妇视频| 草草影院日本第一页| 久干网| japan日本高清乱xxxx| 熟妇人妻一区二区三在线 | 一起草视频在线| 色色热| 亚洲日韩天堂| 91国产大片| 精品无码久久久久久国产浪潮| 97久久精品国产| 岛国大片国产| 日韩少妇在线视频| 99久久婷婷国产综合| 99rre在线精品99re8| 亚洲黄色影视| yaouchengrenav| 丰满欧美少妇| 香蕉国产精品麻豆亚洲欧美日韩 | 黄色AAAAAAAAAAA大片| 夜夜骑操视频| 99热18| 国产成人91一区二区三区| 欧美亚洲日韩16色| 久久欲| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 久久五月天婷婷| 色欧洲| 激情文学欧美| 欧美中出1| 亚洲午夜未满十八勿入网站日本又色又爽又黄 | 91蜜臀熟女| 四虎精品永久在线播放| 天堂九九九九九九九九九| 亚洲 欧美 日韩 国产一区二区| 嗯嗯,好大,好爽,好骚| 色官网在线| 亚洲一区二区中文字幕| 神马午夜久久久| 91超级碰碰| 麻豆视频一区二区| 亚洲怡春院| 国产av高清版| 国产色呦呦| 日韩日本欧美在线观看| 亚洲区小说| 少妇人妻精品| 97香焦色区| 日韩人妻一区二区精品| wwwxxx日本爽| 欧美亚洲自拍另类人妻| 超碰97日韩| 欧美在线官网| 再深点灬舒服灬太大了好硬好爽| 麻豆国产视频精品观看| 亚洲黄色| 老鸭窝日丰县女人| 97硬碰| 九九在线视频| 天天操天天舔| 亚洲αv一区二区三区| 在线免费观看高清无码视频| 亚洲综合在线91| 亚州色图片在线色| 久久欧洲| 国产视频一区二区在线观看| 强奸乱伦大香蕉网| 91P0RNY大屁股人妻| 精品97久久| 人妻少妇久久| 欧美激情久久久久| 熟妇人妻一区二区三在线 | 大香蕉淫人| 白丝少妇一区二区| 国产夜夜操| 91爱综合| 伊色综合天堂色97| 亚洲色图91欧美日韩| 婷婷五月综合在线| 天天操夜夜操| 精品毛片久久久精品毛片| 不卡av在线中文字幕| 日韩免费三级黄片电影| 久久av无码| 屁股久久久久久久久久| 亚洲色图欧美激情| 国产精品不卡av免费在线观看| 91色拍| 国产乱子伦久久精品综合一区二区三| 久久久久女教师免费一区| 91精品人妻五十路| 密臀在线一区尤物| 日韩欧美日韩| 精品欧美不卡在线播放| 岛国1区2区3区在线观看| 亚欧无码线免费观看视频| 2024年最新色情网站在线观看| 91操熟女| 日韩精品色呦呦| 91丨豆花丨熟女| 操逼www.| 成年女人18级毛片毛片免费观看| 久色网| 大香交伊人网| 美女的肌被草喷水视频| 丁香五月天久久精品视频一区二区三区| 97色欧州| 午夜福利一区二区三区四区五区色婷婷| 美女黄码视频午夜| 久久亚洲欧美一区二区三区-亚洲国产精品第一区二区 | 日韩美女操b| 青娱乐老司机视频| 欧美性爱日韩性爱| 91精品啪在线观看国产城中村| 手机看av网站在线看| 一区二区 韩日AV| 精品人妻1237| 日韩av电影网站| 亚洲深夜福利| 超清福利精品视频在线| 自拍大香蕉乱插| 91碰碰| 亚洲色图 欧美热图 清纯唯美 另类自拍| 麻豆福利视频导航| 国产日韩中文字幕欧美| 超碰97中文| 无码操逼网| 97人人模人人爽人人| 色妹子A V| 国产成人精品午夜福利| 99热在线播放| AAAAAAAAA黄片| 男人的天堂2010| 裸体美女久久久| 色图四区| 韩国午夜理伦三级好看| 亚洲AV无码天美传媒一区| 91色艳| 伊人色综合欧美| 狠狠爱大香蕉| 一个人免费HD91视频| 用力操死我| 久久国产精品视频| 国产精品无码久久久久2025| 天天综合网~69| 欧美日动态视频| 亚洲色交| 69精品久久久久中文字幕| 骚乳在线| 99999国产精品| 亚洲系列第一页| 亚洲熟妇乱女区二区三区| 蜜桃臀一区二区三区久久| 欧美不卡在线一区二区| 欧美综合站| 久久婷婷亚洲欧| 青娱乐淫乱1314| 一区二区不卡| 日韩欧美偷拍美女视频| 亚洲国产一级黄色视频| 99热免费| 人妻熟女一区二区三区视频| 亚洲偷拍自拍在线视频| 黄色十八禁| av爱爱爱| 国产精品久久9| 大香蕉中文在线| 91国产丝袜美女| 国产精品99精品视频网站| 久久国产三区| 欧美激色| 免费啪啪一级视频| 中文在线视频| 99久久精品欧美国产| 久久大香蕉手机高清| 国产AB视频| www.久久最新地址| 亚洲综合贴图91 | 欧美97日韩精品| 久久的免费性爱视频| 艳美熟妇先锋一二三区| 久久啊啊啊视频| 亚洲免费成人在线高清无码视频| 超碰天天久久79| 激情熟女12P| AV天堂男人的天堂| 永久免费av无码网站国产app| 有码人妻系列| a片偷拍视频| 熟女欧美日韩综合婷婷| 亚洲精品97| 岛国小电影| 亚洲精品性爱片| yw尤物av无码点击进入麻豆| 日韩精品-原创伙伴| 亚欧免费观看视频| 中文伊人大香蕉视频| 一区在线精品中文字幕| 四季AV综合网址| 九九精品无码专区免费| 97精品久久久久中文字幕| 国产精品婬乱一级毛片彝族| 久久熟女久| 久操网线| 久久久555| 熟女丝袜视频| 国产精品久久久啊| 屌妞视频久久久久久久| α√在线| 亚洲熟女一区| 97色色婷婷| 97在线免费观看| 亚洲蜜乳av| 亚洲欧美清纯| 四季AV综合网址| 2023天天操夜夜操| 国产丸一视频| 国产欧美日韩女同性恋ww喷水精品| 欧美综合色,www| 久久久99久9| 中文字幕在线观看永久| 欧美91久久久久| 色欲日韩欧美在线一区| 日韩欧美日韩| 综合97亚洲| 激情综合色| 日韩性爱免费观看视频| 超碰97.com| 国产精品久久久久久夜夜夜| 国产小黄片在线免费观看| 日韩综合色图| 91女优在线观看 | 久久久999国产| 91九色丨国产丨爆乳| 日韩av在线免费网站| 天天射日日干| 婷婷九月国产| 天天爽夜夜欢视| 丁香五月天激情| 青娱乐淫乱1314| 欧美色老汉| 女人的天堂大香蕉网| 免费看毛片操穴| 人人妻人人爽 97人人看碰人免费公开视频| 超碰 国产熟女精品一区| 熟女一区二区| 人人透人人操| 精品人妻一区二区视频| 啊啊啊啊啊啊在线观看| 日本东京热大香蕉a片| 日韩精品国产精品五码一区二区| 欧美日韩亚洲一区二区在线观看| 伊人天天久久动态图| 精品超碰色| 亚洲自拍一区夜夜操| 狼人综合婷婷激情四射| 在线播放中文字幕| 女同女同恋久久级三级| 国产h小视频在线观看免费| 四虎免费在线播放| 白丝AV网站| 日本久久99| 另类一区| 日韩视频啪啪| 日韩成人精品| 欧美男女午夜啪啪| 国产高潮AA片免费看| 天天做日日做天天欢。| 亚洲小电影免费涩涩成人在线高清 | 太久视频| 日韩操啪| 91操熟女| 蜜臀久久99精品久久久电影| 色臀AV| 91欧美巨乳| 欧美日韩天堂| 91国产在线精品| 99久在线精品99re8a| 丰满搜索结果 -第18页- 久久高清无码 | 国产欧美另类久久久精品课程| 夜夜嗨TV| 国内精品99999| 人妻另类| 国产91美女视频| 怡红院亚洲怡春院av| 日本蜜桃| 狠狠躁天天躁日日躁97| 中文字幕伊人| 欧美九一精品久久久熟妇| 九热超碰| 蜜桃香蕉久草精品在线| 亚洲区小说| 啊啊啊好大好深| 日韩精品一区二区三区色欲| 国模不卡| 欧美性爱在线无码| 青青草日韩无码| 亚洲无套久久嗯嗯| 免费看污网站| 日本免费一区二| 国产AV天美| 99re99视频在线免费观看| 色综合20p| 色婷婷A V一二三四区麻豆综合| 狠久久| 97久久超碰日韩精品| 国产综合久久久麻桃个| 欧美传媒| 日本十八禁免费看污网站| www.亚洲成人一区| 99久久e免费热视| 天天色天天干天天射| 人人看人人摸人人色| 91碰碰碰| 东北老女人的激情视频| 天操天操夜操夜月月年年操操| 亚洲人妻色图| 精品三级在线专区| 日韩精品黄片免费观看| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | A男人的天堂| 夜夜高潮夜夜爽国产伦精品| 亚洲一二三四区| 天天插夜夜操| 丁香五月激情婷婷| 亚州色图狠狠干| 精品大全99999| 国产精品禁久久久精品| 性猛交| 色嗨嗨在线| 最新国产亚洲精品精品国产亚洲综合 | 人妻少妇无码| 边做饭边操逼逼| 欧美三级中文字幕hd| 青青国产精品在线| 亚洲五区熟女| 天天影视综合色| 97啪啪| 日韩少妇一区二区三区| 快点操死我| 日韩精品国模| 国产偷人伦激情在线观看| 国产伦乱91| 欧美97在线观看| 亚洲狠| 亚洲天堂7777| 超碰97男人| 大香蕉中文网| 国产大学生口爆吞精合集| 欧美v日韩欧亚洲电影天堂色诱,国产传媒| 蜜臀久久99精品| 美女啊啊啊啊啊啊| 国产又操| 亚洲日韩熟女人妻高清在线| 久久久九九九| 东京热免费视频| 超碰98综合网| 黄色片A级一区二区三区| 亚洲宅男天堂| 亚洲色婷婷综合久久久久中文| 国产免费操逼| 色欲人妻一区二区在线| 国产又黄又爽| 日韩熟妇二区| 亚州欧美在线| 日韩乱插| 伊人一区二区三区| 91性高朝久久久久久久久| 久久久久精| 熟妇色99| 丁香五月性| 97精品视频网站| 欧美夜夜草视频| 国产精品老熟女一区二区| 极品美女嘿咻| 欧洲黄色网| 欧美少妇大量自拍视频在线观看| 久久久久久加勒比| 欧美在线视频99| 色97欧美| 福利伊人玖玖国产| 99热18这里只有精品| 新久久AV| 麻豆 亚洲 97| 亚洲成人免费中文字幕| 久久欧美按摩999| 亚洲情欲| 女色视频社区| 家庭乱伦麻豆| 中文久久一区| 成人AV超碰免费在线| 花野真衣| 亚洲国产美女久久久久 | 亚欧美综合网。| 思思热在线cao| 日本熟妇精品九九| 91精品无码人妻系列| 91网亚洲| 成人性爱AV在线免费观看| 91爱做| 91人妻尻屄视频| 女人香蕉久久毛毛片精品| 99在线精品视频| 无码人妻一区二区三区免费九色| 麻豆天美国美国产| 黑人精品XXX一区一二区| 四虎免费看黄| 51一区二区三区| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 成人在线永久| 亚卅熟女乱色| 亚洲欧美天| 日韩精品99999| 人人操人人插 - 百度 - 百度| 北京美女一区二区| 天天干天天狼在线视频| 五月天亚洲色图| 成人色女网| 欧美一级久久久丰满| 热久久无毒不卡| 国产www色在线观看| 加勒比色99999| 欧美日韩人人精品| 精品偷拍13p欧美dodk视频| 屁股久久久久久久久| 狠狠色色| 人妻无一区二区三区| 91 丝袜在线观看| 丁香五月成人| 久久精品国产亚洲妲己影视| 免费人人搞97| 亚洲AV成人无码一区二区三区在线观看 | 亚洲无码一区二区三区三州| 欧美激情专区| 自拍丝袜美腿人妻| 欧美精品久久久久久久久88| 熟妇色99| 黄久在线| 色与欲影视| 伊人一区二区三区| 国产精品国产拍高清AV| 97综合在线| 97视频7| 久久精品国产亚洲AV无码电影| 亚洲91色| 国产丝袜高跟美女av免费观看| 2001天天操| 国语对白在线播放视频| 亚洲熟女乱色一区二区三区| 欧美伦乱爱| 日韩成人大片在线观看| 亚洲色天| 97网址97| 日韩午夜啪啪视频| 人妻中文字幕精品无码| 色69大色97香蕉| 激情小说五月天| 强奸乱伦AV一天堂网| 97亚洲中文| 亚洲熟女乱综合一区二区三区| 野狼激情网| 欧美视频在线视频免费va| AV乱伦专区| 久久超碰97| 2020天天色综合| 动漫片子网站3黄| 日本三级中国三级99人妇网站| 国产不卡免费在线视频| 91视频伊人| 老司机福利青青草| 国产精品成人午夜福利| 五月开心久久AV官网| 三级片大波波| 久久久九97| 2024人人操人人摸| h无码动漫在线观看| 男人在线天堂| 国产丝袜美腿美女麻豆| 人妻激情偷乱视频一区二区三区 | www.色吧5.com| 亚州操操穴网| 国产999精品久久久久久| 日韩乱伦影音先锋| 国产女人和拘做爰视频 | 最新av在线| www鬼畜国产男人的天堂| 国产成人一级av88| 99老司机精品视频在线观看| 亚洲色天堂九9| 果冻传媒一区二区三区| 亚洲日本天堂| 男人天堂网手机版婷婷| 欧美青青草视频| 欧洲亚洲人人爽爽视频| 少妇高潮喷水无套久久久久久| 亚洲不卡av在线| 99xav| 伊人综合色网| 六九九九| 四虎永久在线精品免费网址| 激情四射婷婷四五月天| 爽爽淫人网| 国产性感骚丝袜在线| 大香蕉伊人久久| 亚洲综合小说另类图欧美视频激情小说色五月天| 丝袜美女诱惑 91 视频| 青娱乐av在线| 人妻啊啊人妻啊啊| 91丝袜美腿网站| 日韩懂色网| 伦理弟一页| 国产欧美日产一区二区三区 - 国产欧美日 | 欧美亚洲小说| 九九热av| 91爱网| 精品蜜乳AV免费观看| 热无码中文亚洲H一道本一区二区| 欧美激情激情xxxx欧美专区| 久久久久久久免费A片国产成a人亚洲精∨品无码 | 乱伦av麻豆| 福利在线黄片| 精品一区二区三区蜜桃臀赵总 | 国产精品青草综合久久| 国产激情片在线观看| 99色| 操b网站亚洲无码| 中文字幕精品亚洲熟女| 麻豆精品.欧美精品.日韩精品.| 91天天综合| www.av在线视频| 天天操天天射天天日| 图片区小说区| 色色热| 久久国产对白激情浪潮| 青久久| 亚洲图片欧美色| 久久精品无码一区二区三区| 欧美日韩另类在线播放| 激情啪啪拍91| 亚洲18禁| 午夜综合在线| 欧美综合777| 啊啊啊啊啊在线| 激情小说图片亚洲首页| 中文字幕av乱伦| 91九色丨国产丨爆乳| 97精品视频在线播放| 精品九区| 亚洲暴力强奸AV| 狠狠狠狠狠干| 色综合久久夜色精品国产天堂| 国产白丝网站| 18禁免费视频| 日韩人妻操B| 丁香色色网| 国产久久久9999| 日本黄色XXX| 我要看免费韩日黄片| 日本精品成人无码| 欧美精品双插| 女人天堂av在线播放| 最新三级网址| 欧美另类色| 日天天九九天堂666| 人妻少妇被猛烈进入中| 天天干一区二区| 九九热只有精品| 操逼视频免费日韩无码| 99re69| 国产熟妇 码视频户外直播| 天天激情综合站| 96精品在线| 亚州黄站| 狠狠操夜夜| 欧美少妇一区二区三区| 日本二三四区| 综合欧美日本三级| 亚洲自拍欧美色综合| 97av在线观看| 中字乱伦AV| av 模特一区了| 五月丁香激情四射| 熟妇在线视频一区二区| 色老久久| 久久久久久电影| www.狠狠干.coom | 午夜免费视频1000| 亚洲综合色图欧美| 在线一道啪| 天天插夜夜爽| 操逼日批| 色狠人在线99| 欧美Ⅴ性爱| 99热| 伊人网高清| 亚州AV无码国产精品| 在线情色电影 91大| 国产成人综合在线播放| 亚洲一本色码中文字幕| 强奸乱伦免费网站| 蜜桃精品一区二区三区ww| 美女被啪到深处抽搐视频| 97色碰| 婷婷五月天影院| 亚洲男人天堂手机版| 国产精品白丝| 999久久久九| 亚洲全色网| 性感女人网页在线观看视频| 久九九九九九九九热| 99热网站| 久久一区二区三区四区五区| 青青青操| 欧美A片中文字幕| 国产精品第二页| 国产熟妇 码视频户外直播| 99丝袜福利在线播放| 日韩三级伊人| 丰满精品人妻少妇久久字幕| 天天夜躁日日躁狠狠2002| 久久水蜜臀亚洲AV无码精品| 370p日韩欧美亚洲精品| 97精品中文字幕| 国产小u女在线观看| 一本色道久久综合狠狠操| 99这里有精品| 狠狠躁伊人中文字幕| 日本精品人妻少妇一区二区| 成人无码在线超碰网| 青青草中日韩在线| 99热99在线| 国产精品com| 91激情网| 九九香蕉网| 91欧美在线| www.高清无码诱惑一区.com| A 天堂在线观看视频| 婷婷九月丁香| 人人扣人人操| 人妻丝袜日本| 亚洲色图 欧美热图 清纯唯美 另类自拍 | 欧美亚洲自拍另类人妻| 吉川爱美亚洲二区在线| 丁香九月激情| 欧美91网| 看黑丝美女操逼青青网站| 国产精品无码在线| 天天综合亚洲综合| 精品一区二区三区四区女| 免费黄色视频网址| 国产熟女精品一区二区| 麻豆婷婷成人一二三| 国产呦精品一区二区三区下载| 天天综合97| 91亚洲青青草原精品1区| 色成人Www精品永久观看| 欧美少妇人妻| 久久久一区二区| 色噜噜人妻av 中文字幕| 东京热一区二区中文字幕| 国产精品乱码久久久、久久| 又大又黄国产| 777AV电影| 伊人网一本| 久久天天躁日日躁狠狠躁| 午夜天堂啪啪| 粉嫩av久久一区二区三区| 粉嫩av一区二区三区天美传媒| 国产二区三区粉嫩在线| 日本一本一区二区三区四区五区欧美日韩中文字幕 | 中文字幕国产在线天堂| 97爱碰| 日韩精品高清资源在线| 午夜免费福利视频一区| 操日韩第| 男女无套 免费网站| 色噜噜日韩精品| 人妻黑丝袜电影| 伊人97色天使| 久久丁香| 国产中文大片资源中文字幕| 亚洲日韩97| 人妻美腿丝袜制服诱惑综合天堂-| 久久av成人无码免费| 日本一区二区三区免费观看| 一本色道综合久久欧美日韩精品| 免费看污网站| 亚洲成人免费电影| 亚洲无码国产探花在线观看| 骚女天天综合网| 久久人妻无码毛片A片麻豆| 水澄无码AV| 黑人精品XXX一区一二区| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区 | 久热精品在线国产| 暴力av在线| 欧美少妇大量自拍视频在线观看| 色久桃花影院在线观看| 色就色综合| 久久久亚洲熟妇熟女| 超碰人妻久久| 97日亚洲欧美| 怡红院久久老司机| 欧美暴力猛交| 精品人妻视频一区二区三区蜜桃视频| 欧美最婬乱婬爆婬性视频 | 91成人18| 亚洲精品97久久| 男人天堂新在线| 91 综合网| 色约约一区=区三区| 96国产精品| 久久是精品| 女上位精品在线| 欧美淫乱视频| 久久久久久久综合,国产| av 模特一区了| 欧美暴力猛交| 99蜜桃臀亚洲成人在线观看| 操逼内射干逼白丝91| 99热色这里只有精品| caopeng97| 成人五月香网在线| 久久久一热在线播放| 丁香五月天婷婷姐| 超碰调教97| 亚洲、日韩、综合、另类| 青青色综合| 亚洲 欧美 另类 日韩 人妻一区| 亚洲春色欧美| 中文乱码99| 亚洲中文字幕日产无码久久| ,国产乱人伦精品一区二区三区| 性欧美天天| 天天日天天屌天天操| 久久久精品中文字幕麻豆| 日产成人久久| 日1区2区3区2020| 综合 亚洲 欧美| 91丨国产丨白浆秘 洗澡动漫| 日韩一二三区| 一级二级三级黑人无码| 韩国成人精品久久久免费看| 热99这里只有精品|