日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

aclnnDequantRopeQuantKvcache 算子深度解析:NPU 上融合反量化、RoPE 旋轉(zhuǎn)位置編碼與量化 KV Cache 寫入的實戰(zhàn)指南

aclnnDequantRopeQuantKvcache 算子深度解析:NPU 上融合反量化、RoPE 旋轉(zhuǎn)位置編碼與量化 KV Cache 寫入的實戰(zhàn)指南 aclnnDequantRopeQuantKvcache 算子深度解析NPU 上融合反量化、RoPE 旋轉(zhuǎn)位置編碼與量化 KV Cache 寫入的實戰(zhàn)指南【免費下載鏈接】ops-transformer本項目是CANN提供的transformer類大模型算子庫實現(xiàn)網(wǎng)絡在NPU上加速計算。項目地址: https://gitcode.com/cann/ops-transformer導讀aclnnDequantRopeQuantKvcache是 CANN ops-transformer 算子庫中面向大模型推理場景的高階融合算子它將反量化Dequant→ QKV 切分 → 旋轉(zhuǎn)位置編碼RoPE→ 量化Quant→ KV Cache 寫入更新五個步驟融合為一次 NPU 算子調(diào)用避免了多個中間張量的 Device?Host 往返與多次 Kernel 啟動開銷。閱讀本文后你將掌握該算子的完整計算流程、兩段式 aclnn 接口的每個參數(shù)語義與取值約束、兩種 KV Cache 更新模式contiguous / page的差異并能夠依據(jù)倉庫中的完整調(diào)用示例與源碼實現(xiàn)在自己的推理管線中正確接入該算子。本算子位于倉庫的 posembedding/dequant_rope_quant_kvcache 目錄完整源碼可參考該目錄下的 op_host 與 op_kernel 實現(xiàn)。產(chǎn)品支持情況根據(jù)算子官方文檔與目錄內(nèi) README.md 說明當前支持情況如下產(chǎn)品是否支持Ascend 950PR / Ascend 950DT√Atlas A3 訓練系列產(chǎn)品 / Atlas A3 推理系列產(chǎn)品√Atlas A2 訓練系列產(chǎn)品 / Atlas A2 推理系列產(chǎn)品√Atlas 200I/500 A2 推理產(chǎn)品×Atlas 推理系列產(chǎn)品×Atlas 訓練系列產(chǎn)品×Kirin X90 處理器系列產(chǎn)品√Kirin 9030 處理器系列產(chǎn)品√需要特別說明兩點Kirin 平臺不支持 BFLOAT16README 明確標注因此在 Kirin X90 / Kirin 9030 上使用本算子時x 僅支持 FLOAT16 / INT32 兩種類型。這一差異在算子注冊源碼中也有體現(xiàn)dequant_rope_quant_kvcache_def.cpp 為 Kirin 平臺單獨定義了XDtypeListKirin/cosDtypeListKirin等數(shù)據(jù)類型列表其中不含DT_BF16且 AICore 配置kirinx90、kirin9030通過GetKirinCoreConfig()統(tǒng)一掛載。在 dequant_rope_quant_kvcache_def.cpp 中可以看到算子通過this-AICore().AddConfig(ascend910b)、AddConfig(ascend910_93)、AddConfig(ascend950)完成 AICore 配置注冊與上表支持的產(chǎn)品一一對應。算子功能與計算流程功能總覽算子對輸入張量x執(zhí)行如下流水線Dequant可選對輸入x進行反量化恢復高精度浮點表示切分Split按屬性sizeSplits給出的長度對尾軸dim-1進行切分得到q、k、vOut三段RoPE旋轉(zhuǎn)位置編碼對q、k應用基于cos、sin的旋轉(zhuǎn)位置編碼生成qOut和kOutQuant量化對kOut與vOut分別使用scaleK/offsetK、scaleV/offsetV進行靜態(tài)量化輸出 INT8 數(shù)據(jù)KV Cache 更新根據(jù)indices指定的 token 位置信息將量化后的 k、v 寫入kCacheRef與vCacheRef。從計算路徑看該算子本質(zhì)上是把 LLM 推理中權(quán)重反量化 QKV 投影結(jié)果切分 位置編碼 KV 量化緩存這段高頻熱點串成一條端到端的單算子流水適合與 PagedAttention 類推理框架配合使用。計算步驟公式算子的計算過程可形式化為以下五步第 1 步反量化可選$$ dequantX Dequant(x, weightScaleOptional, activationScaleOptional, biasOptional) $$第 2 步尾軸切分$$ q, k, vOut SplitTensor(dequantX, dim-1, sizeSplits) $$第 3 步旋轉(zhuǎn)位置編碼$$ qOut, kOut ApplyRotaryPosEmb(q, k, cos, sin) $$第 4 步靜態(tài)量化$$ quantK Quant(kOut, scaleK, offsetKOptional) $$$$ quantV Quant(vOut, scaleV, offsetVOptional) $$第 5 步KV Cache 更新兩種模式見下文兩種 KV Cache 更新模式模式一cacheModeOptional contiguous默認連續(xù)式緩存按 batch 維度逐位置寫入$$ kCacheRef[i][indices[i]] quantK[i] $$$$ vCacheRef[i][indices[i]] quantV[i] $$模式二cacheModeOptional page分頁式緩存Paged KV Cache先將 4 維 cache 張量展平成[總頁數(shù), 頁內(nèi)行數(shù), 列數(shù)]的視圖再按下標寫入$$ kCacheRefView kCacheRef.view(-1, kCacheRef[-2], kCacheRef[-1]) $$$$ vCacheRefView vCacheRef.view(-1, vCacheRef[-2], vCacheRef[-1]) $$$$ kCacheRefView[indices[i]] quantK[i] $$$$ vCacheRefView[indices[i]] quantV[i] $$兩種模式的選擇會直接影響indices的 shape 語義見參數(shù)表與約束說明并且 tiling 階段會通過CheckPaCacheMode()見 dequant_rope_quant_kvcache_tiling.cpp識別是否為 page 模式進而把batch展開為B*S、seqlen置 1 參與任務劃分。兩段式接口與函數(shù)原型該算子采用 CANN 算子庫標準的兩段式接口詳見倉庫文檔 兩段式接口說明必須先調(diào)用aclnnDequantRopeQuantKvcacheGetWorkspaceSize接口獲取入?yún)⑿r灲Y(jié)果與所需 workspace 大小再調(diào)用aclnnDequantRopeQuantKvcache接口執(zhí)行計算。第一段接口原型aclnnStatus aclnnDequantRopeQuantKvcacheGetWorkspaceSize( const aclTensor *x, const aclTensor *cos, const aclTensor *sin, aclTensor *kCacheRef, aclTensor *vCacheRef, const aclTensor *indices, const aclTensor *scaleK, const aclTensor *scaleV, const aclTensor *offsetKOptional, const aclTensor *offsetVOptional, const aclTensor *weightScaleOptional, const aclTensor *activationScaleOptional, const aclTensor *biasOptional, const aclIntArray *sizeSplits, char *quantModeOptional, char *layoutOptional, bool kvOutput, char *cacheModeOptional, const aclTensor *qOut, const aclTensor *kOut, const aclTensor *vOut, uint64_t *workspaceSize, aclOpExecutor **executor)第二段接口原型aclnnStatus aclnnDequantRopeQuantKvcache( void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, aclrtStream stream)第一段接口完成入?yún)⑿r炁c workspace 大小計算第二段接口在指定stream上真正下發(fā)執(zhí)行。兩段接口均返回aclnnStatus狀態(tài)碼具體取值參見倉庫文檔 aclnn 返回碼說明。參數(shù)詳解第一段接口參數(shù)表下表完整列出aclnnDequantRopeQuantKvcacheGetWorkspaceSize的全部參數(shù)語義。其中非連續(xù) Tensor標記為 √ 表示該輸入支持非連續(xù)帶 stride張量。參數(shù)名輸入/輸出描述使用說明數(shù)據(jù)類型數(shù)據(jù)格式維度(shape)非連續(xù)Tensorx輸入公式中用于切分的輸入 xshape 為[B, S, H]或[B, H]H(NqNkvNkv)*D。x 的尾軸小于等于 4096且按 64 對齊FLOAT16、BFLOAT16、INT32ND2-3√cos輸入公式中用于位置編碼的輸入 cosx 為 3 維時 shape 為[B, S, 1, D]x 為 2 維時 shape 為[B, D]FLOAT16、BFLOAT16ND24√sin輸入公式中用于位置編碼的輸入 sinx 為 3 維時 shape 為[B, S, 1, D]x 為 2 維時 shape 為[B, D]和 cos 保持一致ND24√kCacheRef輸入公式中用于緩存 k 的輸入 kCacheRefshape 為[C_1, C_2, Nkv, D]INT8ND4√vCacheRef輸入公式中用于緩存 v 的輸入 vCacheRefshape 為[C_1, C_2, Nkv, D]INT8ND4√indices輸入表示 Kvcache 的 token 位置信息的輸入 indices當 cache_mode 為 page 且 x 為 3 維時 shape 為[B*S]否則 shape 為[B]INT32ND1√scaleK輸入公式中的輸入 scaleK用于量化 k 的 scale 因子元素個數(shù)為Nkv*D推薦 shape 為[Nkv, D]兼容一維展平 shape[Nkv*D]FLOATND≥1√scaleV輸入公式中的輸入 scaleV用于量化 v 的 scale 因子元素個數(shù)為Nkv*D推薦 shape 為[Nkv, D]兼容一維展平 shape[Nkv*D]FLOATND≥1√offsetKOptional輸入公式中的輸入 offsetKOptional用于量化 k 的 offset 因子元素個數(shù)為Nkv*D推薦 shape 為[Nkv, D]兼容一維展平 shape[Nkv*D]FLOATND≥1√offsetVOptional輸入公式中的輸入 offsetVOptional用于量化 v 的 offset 因子元素個數(shù)為Nkv*D推薦 shape 為[Nkv, D]兼容一維展平 shape[Nkv*D]FLOATND≥1√weightScaleOptional輸入公式中的輸入 weightScaleOptional用于反量化的權(quán)重 scale 因子shape 為[H]FLOATND1√activationScaleOptional輸入公式中的輸入 activationScaleOptional用于反量化的激活 scale 因子x 為 3 維時 shape 為[B*S]x 為 2 維時 shape 為[B]FLOATND1√biasOptional輸入公式中的輸入用于反量化的偏置 biasOptionalshape 為[H]FLOAT、FLOAT16、INT32、BFLOAT16ND1√sizeSplits輸入表示輸入的 qkv 進行切分的長度size 大小為 3值為[Nq*D, Nkv*D, Nkv*D]AclIntArray---quantModeOptional輸入表示支持的量化類型目前僅傳入staticCHAR---layoutOptional輸入表示支持的數(shù)據(jù)格式目前僅支持BSNDCHAR---kvOutput輸入Host 側(cè)布爾值表示是否輸出 kOut 和 vOut為 true 時輸出有效 shape 的 kOut 和 vOut為 false 時 kOut 和 vOut 的 shape 為空BOOL---cacheModeOptional輸入表示 kCacheRef 的更新方式目前僅支持page和contiguous默認為contiguousCHAR---qOut輸出公式中經(jīng)旋轉(zhuǎn)位置編碼后的 qx 為 3 維時 shape 為[B, S, Nq, D]x 為 2 維時 shape 為[B, Nq, D]。數(shù)據(jù)類型與 cos、sin 保持一致FLOAT16、BFLOAT16ND3-4×kOut輸出公式中經(jīng)旋轉(zhuǎn)位置編碼后的 kkvOutput 為 true 時x 為 3 維時 shape 為[B, S, Nkv, D]x 為 2 維時 shape 為[B, Nkv, D]kvOutput 為 false 時 shape 為空。數(shù)據(jù)類型與 cos、sin 保持一致FLOAT16、BFLOAT16ND1-4×vOut輸出公式中切分得到的 vkvOutput 為 true 時x 為 3 維時 shape 為[B, S, Nkv, D]x 為 2 維時 shape 為[B, Nkv, D]kvOutput 為 false 時 shape 為空。數(shù)據(jù)類型與 cos、sin 保持一致FLOAT16、BFLOAT16ND1-4×workspaceSize輸出返回需要在 Device 側(cè)申請的 workspace 大小-----executor輸出返回 op 執(zhí)行器包含了算子計算流程-----參數(shù)語義的源碼佐證上述參數(shù)定義可以在算子注冊源碼 dequant_rope_quant_kvcache_def.cpp 中得到印證x、cos、sin、k_cache、v_cache、indices、scale_k、scale_v為REQUIRED必選輸入offset_k、offset_v、weight_scale、activation_scale、bias為OPTIONAL可選輸入所有輸入均聲明了AutoContiguous()與參數(shù)表中非連續(xù) Tensor的支持情況一致屬性側(cè)size_splits為 REQUIRED 的ListIntquant_mode默認static、layout默認BSND、kv_output默認false、cache_mode默認contiguous與文檔描述完全對應輸入/輸出均限定FORMAT_ND格式即文檔參數(shù)表中的數(shù)據(jù)格式 ND。第二段接口參數(shù)表參數(shù)名輸入/輸出描述workspace輸入在 Device 側(cè)申請的 workspace 內(nèi)存地址workspaceSize輸入在 Device 側(cè)申請的 workspace 大小由第一段接口aclnnDequantRopeQuantKvcacheGetWorkspaceSize獲取executor輸入op 執(zhí)行器包含了算子計算流程stream輸入指定執(zhí)行任務的 Stream返回值與錯誤碼兩段接口均返回aclnnStatus狀態(tài)碼。第一段接口完成入?yún)⑿r灣霈F(xiàn)以下場景時報錯返回值錯誤碼描述ACLNN_ERR_PARAM_NULLPTR161001輸入和輸出的 Tensor 是空指針ACLNN_ERR_PARAM_INVALID161002輸入和輸出的數(shù)據(jù)類型不在支持的范圍內(nèi)完整返回碼語義參見倉庫文檔 aclnn 返回碼說明。約束說明使用該算子時必須滿足以下約束確定性計算aclnnDequantRopeQuantKvcache默認確定性實現(xiàn)。contiguous 模式下的 indices 取值kCacheRef的第 0 維大于等于 x 的第 0 維。x 為 3 維時indices 數(shù)據(jù)值大于等于 0 且小于等于kCacheRef的第 1 維減 x 的第 1 維x 為 2 維時indices 數(shù)據(jù)值大于等于 0 且小于等于kCacheRef的第 1 維減 1。page 模式下的 indices 取值indices 數(shù)據(jù)值大于等于 0小于kCacheRef的第 0 維 × 第 1 維且不重復。非 INT32 輸入輸入 x 不為 INT32 時x、cos、sin 與輸出 qOut、kOut、vOut 的數(shù)據(jù)類型保持一致此時activationScaleOptional、weightScaleOptional、biasOptional不生效。INT32 輸入反量化路徑輸入 x 為 INT32 時cos、sin 與輸出 qOut、kOut、vOut 的數(shù)據(jù)類型保持一致此時weightScaleOptional必選activationScaleOptional、biasOptional可選biasOptional不需要與其他輸入類型一致。尾軸限制x 的尾軸小于等于 4096且按 64 對齊。Kirin 平臺Kirin X90 / Kirin 9030 處理器系列產(chǎn)品不支持 BFLOAT16。這些約束在 tiling 階段會被進一步強制校驗。例如 dequant_rope_quant_kvcache_tiling.cpp 中會檢查sizeSplits長度必須為 3、k 與 v 的切分長度必須相等、hiddenSize必須為 16 的倍數(shù)、qHiddenSize/vHiddenSize必須為hiddenSize的整數(shù)倍由此推出 Nq、Nkv 必須為整數(shù)、x 的尾軸必須等于三段切分長度之和等同時 tiling 還會校驗 scale/offset 的元素個數(shù)必須等于Nkv*DquantShapeSize與參數(shù)表要求一致。調(diào)用示例倉庫在 examples/test_aclnn_dequant_rope_quant_kvcache.cpp 中提供了可直接參考的完整示例其調(diào)用流程與本算子文檔中的示例代碼一致編譯和執(zhí)行過程請參考倉庫文檔 編譯與運行樣例。核心代碼如下#include iostream #include vector #include acl/acl.h #include aclnnop/aclnn_dequant_rope_quant_kvcache.h #define CHECK_RET(cond, return_expr) \ do { \ if (!(cond)) { \ return_expr; \ } \ } while (0) #define LOG_PRINT(message, ...) \ do { \ printf(message, ##__VA_ARGS__); \ } while (0) int64_t GetShapeSize(const std::vectorint64_t shape) { int64_t shapeSize 1; for (auto i : shape) { shapeSize * i; } return shapeSize; } void PrintOutResult(std::vectorint64_t shape, void** deviceAddr) { auto size GetShapeSize(shape); std::vectorint8_t resultData(size, 0); auto ret aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), *deviceAddr, size * sizeof(resultData[0]), ACL_MEMCPY_DEVICE_TO_HOST); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(copy result from device to host failed. ERROR: %d\n, ret); return); for (int64_t i 0; i size; i) { LOG_PRINT(mean result[%ld] is: %d\n, i, resultData[i]); } } int Init(int32_t deviceId, aclrtStream* stream) { // 固定寫法資源初始化 auto ret aclInit(nullptr); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclInit failed. ERROR: %d\n, ret); return ret); ret aclrtSetDevice(deviceId); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtSetDevice failed. ERROR: %d\n, ret); return ret); ret aclrtCreateStream(stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtCreateStream failed. ERROR: %d\n, ret); return ret); return 0; } template typename T int CreateAclTensor(const std::vectorT hostData, const std::vectorint64_t shape, void** deviceAddr, aclDataType dataType, aclTensor** tensor) { auto size GetShapeSize(shape) * sizeof(T); // 調(diào)用aclrtMalloc申請device側(cè)內(nèi)存 auto ret aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtMalloc failed. ERROR: %d\n, ret); return ret); // 調(diào)用aclrtMemcpy將host側(cè)數(shù)據(jù)拷貝到device側(cè)內(nèi)存上 ret aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtMemcpy failed. ERROR: %d\n, ret); return ret); // 計算連續(xù)tensor的strides std::vectorint64_t strides(shape.size(), 1); for (int64_t i shape.size() - 2; i 0; i--) { strides[i] shape[i 1] * strides[i 1]; } // 調(diào)用aclCreateTensor接口創(chuàng)建aclTensor *tensor aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND, shape.data(), shape.size(), *deviceAddr); return 0; } int main() { // 1. 固定寫法device/stream初始化參考acl API手冊 // 根據(jù)自己的實際device填寫deviceId int32_t deviceId 0; aclrtStream stream; auto ret Init(deviceId, stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(Init acl failed. ERROR: %d\n, ret); return ret); // 2. 構(gòu)造輸入與輸出需要根據(jù)API的接口定義構(gòu)造 int64_t shapeB 1; // batch int64_t shapeS 1; // seqlen int64_t shapeNq 2; // query 頭數(shù) int64_t shapeNkv 1; // kv 頭數(shù) int64_t shapeD 32; // 每頭維度 int64_t shapeH shapeD * (shapeNq shapeNkv shapeNkv); // 尾軸長度 (NqNkvNkv)*D std::vectorint64_t inputShape {shapeB, shapeS, shapeH}; std::vectorint64_t cosShape {shapeB, shapeS, 1, shapeD}; std::vectorint64_t sinShape {shapeB, shapeS, 1, shapeD}; std::vectorint64_t kcacheShape {shapeB, shapeH, 1, shapeD}; std::vectorint64_t vcacheShape {shapeB, shapeH, 1, shapeD}; std::vectorint64_t indicesShape {shapeB}; std::vectorint64_t kscaleShape {shapeNkv, shapeD}; std::vectorint64_t vscaleShape {shapeNkv, shapeD}; std::vectorint64_t koffsetShape {shapeNkv, shapeD}; std::vectorint64_t voffsetShape {shapeNkv, shapeD}; std::vectorint64_t weightShape {shapeH}; std::vectorint64_t activationShape {shapeB * shapeS}; std::vectorint64_t biasShape {shapeH}; // 以 INT32 輸入觸發(fā)反量化路徑需提供 weightScale/activationScale/bias std::vectorint32_t inputHostData(shapeB * shapeS * shapeH, 1); std::vectorint16_t cosHostData(shapeB * shapeS * shapeD, 1); std::vectorint16_t sinHostData(shapeB * shapeS * shapeD, 1); std::vectorint8_t kcacheHostData(shapeB * shapeH * shapeD, 6); std::vectorint8_t vcacheHostData(shapeB * shapeH * shapeD, 6); std::vectorint32_t indicesHostData(shapeB, 0); std::vectorfloat kscaleHostData(shapeNkv * shapeD, 2); std::vectorfloat vscaleHostData(shapeNkv * shapeD, 2); std::vectorfloat koffsetHostData(shapeNkv * shapeD, 2); std::vectorfloat voffsetHostData(shapeNkv * shapeD, 2); std::vectorfloat weightHostData(shapeH, 2); std::vectorfloat activationHostData(shapeB * shapeS, 2); std::vectorfloat biasHostData(shapeH, 2); // 省略逐個調(diào)用 CreateAclTensor 創(chuàng)建各輸入/輸出的 aclTensor 與 device 內(nèi)存 std::vectorint64_t splitData {shapeNq * shapeD, shapeNkv * shapeD, shapeNkv * shapeD}; aclIntArray *sizeSplits aclCreateIntArray(splitData.data(), splitData.size()); char quantMode[] static; char layout[] BSND; char cacheMode[] contiguous; // 3. 調(diào)用CANN算子庫API uint64_t workspaceSize 0; aclOpExecutor* executor; // 調(diào)用aclnnDequantRopeQuantKvcache第一段接口 ret aclnnDequantRopeQuantKvcacheGetWorkspaceSize(input, cos, sin, kcache, vcache, indices, kscale, vscale, koffset, voffset, weight, activation, bias, sizeSplits, quantMode, layout, true, cacheMode, q, k, v, workspaceSize, executor); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclnnDequantRopeQuantKvcacheGetWorkspaceSize failed. ERROR: %d\n, ret); return ret); // 根據(jù)第一段接口計算出的workspaceSize申請device內(nèi)存 void* workspaceAddr nullptr; if (workspaceSize 0) { ret aclrtMalloc(workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(allocate workspace failed. ERROR: %d\n, ret); return ret); } // 調(diào)用aclnnDequantRopeQuantKvcache第二段接口 ret aclnnDequantRopeQuantKvcache(workspaceAddr, workspaceSize, executor, stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclnnDequantRopeQuantKvcache failed. ERROR: %d\n, ret); return ret); // 4. 固定寫法同步等待任務執(zhí)行結(jié)束 ret aclrtSynchronizeStream(stream); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclrtSynchronizeStream failed. ERROR: %d\n, ret); return ret); // 5. 獲取輸出的值將device側(cè)內(nèi)存上的結(jié)果拷貝至host側(cè) PrintOutResult(kcacheShape, kcacheDeviceAddr); PrintOutResult(vcacheShape, vcacheDeviceAddr); // 6. 釋放aclTensor和aclIntArray // 7. 釋放device資源aclrtFree / aclrtDestroyStream / aclrtResetDevice / aclFinalize return 0; }上述示例中sizeSplits {Nq*D, Nkv*D, Nkv*D}與參數(shù)表要求一致。需要注意示例中indices全部為 0 且cacheMode contiguous因此量化后的 k/v 會被寫入每一條 batch 對應 cache 的第 0 個 token 位置若要在真實推理中做增量寫入需按 token 位置更新indices。源碼級原理深挖算子定義與數(shù)據(jù)類型注冊dequant_rope_quant_kvcache_def.cpp 中通過OP_ADD(DequantRopeQuantKvcache)完成算子注冊。該文件用 16 組 dtype 組合FLOAT16 / INT32 / BF16 三種 x 類型分別與 cos/sin、bias、scale、cache 類型的組合精確刻畫了文檔約束中數(shù)據(jù)類型保持一致的規(guī)則例如x為 FLOAT16 時cos/sin必須為 FLOAT16XDtypeList與cosDtypeList前 4 組一一對應x為 INT32 時bias可以是 FLOAT16 / BF16 / INT32 / FLOAT 四種biasDtypeList中對應條目即約束第 5 條biasOptional 不需要與其他輸入類型一致k_cache/v_cache固定為 INT8indices固定為 INT32scale/offset/weight_scale/activation_scale固定為 FLOAT。Shape 推導邏輯dequant_rope_quant_kvcache_infershape.cpp 中InferShapeForDequantRopeQuantKvcache負責輸出 shape 推導要求 x 為 2 維或 3 維cache 為 4 維從size_splits[0]與 cache 的隱藏維度推導qHead size_splits[0] / hiddenSizex 為 3 維時qOut為[B, S, Nq, D]kOut/vOut為[B, S, Nkv, D]x 為 2 維時seqlen 視為 1qOut為[B, Nq, D]kOut/vOut為[B, Nkv, D]當kv_output為 false 時kOut/vOut的第 0 維被置為 0shape 為空這與參數(shù)表中kvOutput 為 false 時 shape 為空完全對應InferDataTypeForDequantRopeQuantKvcache將 q/k/v 的輸出類型設置為與cos一致印證數(shù)據(jù)類型與 cos、sin 保持一致。Tiling 策略與 workspacedequant_rope_quant_kvcache_tiling.cpp 中的TilingDequantRopeQuantKvcache負責在 Host 側(cè)完成任務切分任務量建模taskNum batch * seqlen并按 AIV 核數(shù)GetCoreNumAiv()與 UB 容量GetCoreMemSize計算blockFactor前核塊因子與tailCoreBlockFactor尾核塊因子實現(xiàn)多核負載均衡UB 單次承載量OnceUBMaxS由 UB 剩余空間除以單次處理所需的 buffer 總量q/k/v/cos/sin/indices 的緩沖區(qū)之和全部按 32 字節(jié)BLOCK_SIZE對齊計算得到Kernel 按該值循環(huán)搬數(shù)Workspacetiling 階段統(tǒng)一申請MINIMAL_WORKSPACE 16MB的 workspace見 dequant_rope_quant_kvcache_tiling.cpp作為空 tensor 與 kernel 計算時的中間緩沖TilingKey以 bias 的數(shù)據(jù)類型作為SetTilingKey的取值FLOAT0 / FLOAT161 / INT322 / BF163驅(qū)動 Kernel 側(cè)模板實例化。tiling 數(shù)據(jù)的字段定義位于 dequant_rope_quant_kvcache_tiling.hqHeadNum、kvHeadNum、hiddenSize、OnceUBMaxS、isPA、ifKVout、hasBias、hasAS等這些字段直接決定了 Kernel 內(nèi)部的分支走向。Kernel 實現(xiàn)要點Kernel 側(cè)入口為 dequant_rope_quant_kvcache.cpp按 TilingKey 0/1/2/3 分別實例化RopeQuantKvcacheV2DTYPE_X, bias類型, DTYPE_COS模板bias 類型對應 FLOAT / half / int32_t / bfloat16_t。核心類實現(xiàn)在 dequant_rope_quant_kvcache.h反量化dequantUb對 INT32 輸入先Cast到 float再乘weight_scaleMul可選乘激活 scaleMuls與加 biasAdd切分搬數(shù)通過DataCopyPad與DataCopyExtParams以塊內(nèi) stride方式從inputGm中帶間隔地抽取 q、k、v 三段見dataCopyParamsQ_/K_/V_的構(gòu)造srcStride恰好跳過其他兩段避免三塊獨立訪存RoPE 計算按hiddenSize / 2拆分奇偶半段執(zhí)行k*cos ± 旋轉(zhuǎn)(k)*sin的旋轉(zhuǎn)位置編碼代碼中對sin先乘以 -1Muls再通過兩次Mul與一次Add完成標準 RoPE 公式量化對 kOut/vOut 先Div除以 scale可選Addoffset再經(jīng)Cast(CAST_RINT)到 INT16、轉(zhuǎn) half、最終Cast(CAST_NONE)到 INT8Cache 寫入copyOutcachepage 模式下以index * kvHeadNum * hiddenSize計算頁內(nèi)偏移contiguous 模式下以(bOffset bIndex) * cacheSeqlen index sIndex計算連續(xù)偏移隨后DataCopy寫回kCacheGm/vCacheGm流水并行通過MTE2_S、V_MTE3、MTE3_MTE2、MTE2_MTE3等硬件事件SetFlag/WaitFlag對搬入MTE2、向量計算V、搬出MTE3三段流水做同步編排降低訪存延遲。測試與驗證倉庫為算子提供了多級測試保障ST 測試目錄 tests/st/aclnnDequantRopeQuantKvcache 下的atk_aclnnDequantRopeQuantKvcache.json定義了基于 ATK 的端到端用例用例 0 覆蓋 x 為[1, 2304]的 FLOAT16 輸入Nq*D1536、Nkv*D384、Nkv*D384即 2D 輸入 cacheModepage用例 1 覆蓋 x 為[1, 3584]的 INT32 反量化路徑sizeSplits{1792, 896, 896}bias 為 BF16cacheModepage。兩個用例均攜帶backward: true可用于精度對比基準cv_fused_double_benchmarkUT 測試目錄 tests/ut 下包含 op_host 層的test_dequant_rope_quant_kvcache_infershape.cpp、test_dequant_rope_quant_kvcache_tiling.cpp以及 op_kernel 層的test_dequant_rope_quant_kvcache.cpp分別驗證 shape 推導、tiling 數(shù)據(jù)與 Kernel 計算結(jié)果的正確性。小結(jié)aclnnDequantRopeQuantKvcache是 CANN ops-transformer 中把反量化 → QKV 切分 → RoPE → 量化 → KV Cache 寫入五步融合的單算子實現(xiàn)。通過兩段式 aclnn 接口開發(fā)者可以在 Host 側(cè)一次性完成參數(shù)校驗、workspace 計算與執(zhí)行器構(gòu)建隨后在 Stream 上異步執(zhí)行。本文完整梳理了其計算流程、兩段式接口的全部參數(shù)語義、兩種 cache 更新模式與 7 條使用約束并結(jié)合倉庫中的算子定義、shape 推導、tiling 策略與 Kernel 實現(xiàn)揭示了底層的數(shù)據(jù)類型組合規(guī)則、多核任務劃分與流水并行機制。對于正在自研或接入大模型推理框架、需要在 NPU 上高效維護量化 KV Cache 的開發(fā)者該算子可作為 PagedAttention 場景中 KV 預處理環(huán)節(jié)的落地參考?!久赓M下載鏈接】ops-transformer本項目是CANN提供的transformer類大模型算子庫實現(xiàn)網(wǎng)絡在NPU上加速計算。項目地址: https://gitcode.com/cann/ops-transformer創(chuàng)作聲明:本文部分內(nèi)容由AI輔助生成(AIGC),僅供參考
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
高清无码国产亚洲| 国产9区| 男女激烈网站最新| 精品人妻一区二区视频| 人妻天天爽夜夜爽爽| 日本性爱欧美性爱| 2017,超碰| 中文字幕 人妻不满 在线视频| 国产在线综合福利网站| 国产乱不卡| 男人a天堂手机在线版| 99蜜月精品久久| 国精品一区二区三| 熟女人妻一区二区三区| 国产AV精久久| 思思热免费视频观看| 久久男人| 天天天乱色综合全| 乱色视频中文字幕| 欧美色综合影院| 日本一区二区中文字幕久久| 亚洲揄拍网| 啊视频在线| 日本人体九九九九九九| 人人干人人操人人..com| 热思思免费视频| 99re6国产精品99re| 欧美九九爱| 人摸人人操人| 日韩精品人妻一| 欧洲综合色图| 一级黄色性爱裸体视频| 鸥美中出| 日韩精品亚洲一二三| 麻豆黄色五月天| 91干熟女| 丝袜熟女一区二区三区| 午夜欧美女人操逼| 日韩熟女乱伦中出| 国产成年免费大片黄在线观看| 亚洲视频中文一区| 亚洲色图91| 天天综合网~91| 精品毛片久久久精品毛片| 久久超碰97| 久久香蕉国产线看观看亚洲女人 | 乱伦1色页| 欧美色www亚洲国产阿娇要播| 91欧美综合| 97视频免费在线| 另类专区加勒比| 久操av在线| 日本天天干天天搞一区| 97国产精品久久久久| 国产亚洲精品美女| 99最新日韩偷拍视频| 久久久久大香青草精品综合| 日本免费一区二区不卡| 亚洲男人天堂视频| 黑人精品欧美一区二区蜜桃| 蜜臀在线视频| 中文字幕天天天天天| 国产剧情一区在线观看| 无码人妻一区二区一牛影视| 日本熟人妻中文字幕在线|...久久国产精品-国产精品_日本一区二区三区中文字幕 | 久久久久久波多野吉衣高潮| 九九夜精品九九在线| 精品久久久久9999| 青青草精品| 熟妇高潮一区二| 久久精品国产99国产精品亚洲| 大香蕉免| 尤物视频偷拍免费| 99操逼| 超碰九7免费| 亚洲国产精品无码AV久久久| 亚洲蜜乳av| 久久久111| 久久久久久波多野吉衣高潮| 夜夜嗨一区二区三区三州加勒比| 九九九九精品九九九九| 激情 欧美 亚洲 小说| CCYY草草影院地址入口| 女人午夜视频777| 熟妇熟女亚洲天堂网| 蜜臀人妻少妇久久在线观看| 在线播放中文字幕| 欧美色乱| 久久直播国产| 婷婷五月成人| 久久久久元码视频| 欧美天天弄| 国产精品一区二区校花| 综合激情五月丁香| 欧美日韩亚洲电影| 东北熟女91| 老熟妇乱轮| 无遮挡一级毛片视频免费的| 91五月天| 高清无码在线播放网站| 一区二区三区精品黑丝白丝酒店对鸡 | 亚洲情色电影网| 欧美性暴力猛交XXXX| 2018天天干在线视频| 精品国产Av无码久久久亚洲| 欧美日韩少妇色情| 精品对白久久不卡| 国产成人综合在线播放| 黄色成品网站| 网友自拍第1页| 欧美亚洲日本视频久久久 | 91亚州欧美| 东京男人天堂| 啪一啪免费视频| 日本黄色精品专区网站| 日本性一区| 天天网综合| 中国AV美女| 日韩一区二区熟女| 少妇色综合| 亚洲AV色图一区| 国产激情在线| 国产精品自拍视频| 夜夜青青无码影院| 黄色香蕉视频网站一区| 欧美99热| 99久久久| 麻豆 亚洲 97| 操逼逼中文字幕| 伊人久久综合影院| 人妻一区视频| 中文字幕55555| 91狠狠综合| 99re6在线视频精品免费完整版安卓版| 日韩人妻无码不卡网站| 免费黄色片。| 精品免费一区二区三区在线亚洲人成| 夜夜爽妓女| 日韩AC| 青青草国产亚洲精品久久| 亚洲色婷婷综合久久一区二区三区| 欧美性爱第一区| 久插综合| 亚洲无码一二三区| 久久久九九| 亚洲情色中文字幕一区| 日日干夜夜欢| 成人资源中文字幕在线观看天天| 99自拍视频| 国产精品97超碰| 亚洲Av无码成人精品国产| 色九九久九九| 91狠狠色丁香婷婷综合久久| 久久久久久久性爱| 黑人精品久久97| 韩国午夜理伦三级好看| 97精品人妻一二三四| 1769一区二区| 欧美色图综合网| 97天天摸天天碰| 婷婷伊人五月| 青青草男人天堂| 精品一区二区成人| 亚洲人妻色图| 久久人妻四季| 青娱乐欧美激情一区二区| 久久人妻少妇| 蜜臀久久久久久999| 亚洲影院无码在线| 精品人妻15区| 在线97在线| 今日头条成人一区二区三区四虎精品| 国产极品美女高潮无套在线观看| 91欧美亚洲| 伊人伊人LD| 五月丁香网站| 久操网视频| 国产在线激情| 中文字幕AV片| 国产老熟女| 日本免费中文字幕在线 | 玖玖爱伊人玖玖爱| 啊啊啊好爽快点啊啊啊嗯嗯| 蜜臀AV秘一区翔田千里| 天堂亚洲精品| 精品视频一区二区| 亚爽爽爽爽爽爽爽爽| 夜夜草网站| 久久久久久久久久久免费精品| 色九九九九九九| 神马久久久久眼| 在线观看黄色电话| 粉嫩av在线一区二区| 青娱乐福利99| 3PAV乱伦视频| 99热这里都是精品| 色爱天堂| 深喉吞精| 欧美激情黑人| 久久m| 99re9在线| 欧美日韩激情无码专区| 免费观看性欧美一级| 欲女人妻性色av| 人妻密肉在线观看| 嗯啊啊啊轻点视频 | 日韩pv中文| 國產尤物AV尤物在線觀看| 综合 亚洲 欧美| 国内一区二区三区| 日本道日本道中文字幕日本道最新日本道在线观看 | 巨爆乳一区二区爆乳区| 国产又黄又爽又刺激久久久久久| 日韩性爱啪啪视频| 亚洲欧美第一页| 五月天久久人妻| 亚洲第一页综合在线| 九九九精品一区二区无码| 大香蕉综合| 天无日色综合| 伊人久久国产免费观看视频| 打av高清| 欧美日韩资源在线| 欧美18禁91| 久久免费老司机精品| 激情小说五月天| 中文字幕在线高清男人的天堂| 久久国内| 大香蕉伊人久久| 99热网站| 超91综合网| 亚洲A色| 人人澡人人爽人人精品| 色婷婷蜜臀av| A一级色女| 国产精品高潮久久AV| 嫩草 人人网精品| 欧美日韩国产电影| 精品乱码在线观看| 中文字幕一区二区三区四五区| 欧美久久人体| 青青操在线视频| 91精品人妻一区二区三区蜜桃| 欧美亚洲综合高清在线| 天天躁日日躁狠狠躁| 97视频在线播放| 国产1024在线播放| 欧美经典一区二区三区| 久久久婷婷婷| 亚洲人在线| 97视频7| 欧美91久久久久| 操淫穴亚洲五月丁香| 青娱乐手机日韩在线视频| 丝袜色综合| 亚洲毛片久久| 天天搞在线综合网| 婷婷激情五月| 色娱乐色呦呦夜夜夜夜av| 人妻 欧美亚洲| 智利AV在线网| 97久久精品| 黑丝自慰喷水网站| 男人的天堂2018东京热啪啪啪| 男人的天堂2010| 91人妻丝袜无码| 最新av在线| 一二三区视频在线观看| 亚洲无无码αⅴ每日更新| 91社操逼| 日本大片日本一区二区免费高清| 人妻激情在线视频| 亚洲国产丝袜熟女av| 色狠狠 - 百度| 97天天爽| 校园春色五月天| 亚洲五码一区二区三区| 欧美大香蕉97| 欧美 亚洲 在线| 日本高清免费一本视频在线观看| 日日狠狠久久偷偷色综合免费| 国产性感在线观看| 久久精品国产亚洲av水密被窝| 100啪啪视频大全| 日韩AC| 99re69| 欧美综合色图片| 国产91乱伦| 精品熟女一区=区三区| 欧美同性恋 的搜索结果 - 91n| 成人精品无码| 熟妇在线视频一区二区| 国产女主播视频在线观看| 亚洲在线网站| 天天综合~91入口| 97中文综合| 亚洲欧美综合区自拍另类| 久久久工口| 国产精品毛片| 一区二区影院| 亚拍在线| 免费公开人人操| 天堂蜜桃无码视频一区二区| 午夜操一视频一区| 久久婷色| 国产日韩中文字幕欧美| 免费簧片在线观看| 久久精品视频一区三区小泽玛利亚| 丝袜足交视频| 毛片视频白嫩| 都市久久精品激情亚洲| 神马久久久久眼| 老女人综合| 亚洲成熟国产精品美女| 久久6热精品99视频| 国产一区在线观看无码AV| 91高跟美女在线播放| 我要去看2个日本美女.com曹逼| 天天狠| 欧洲综合色图| 精品久久99| 久久久久9999| 五月天综合网| 日韩欧美国产一区二区三区四区| 在线观看午夜婷婷久久久久清性观看| 精品久久久久av影院| 九九九九九用不成了| 欧美老妇曰批的视频| 青娱乐手机日韩在线视频| 黄色视频60分钟| 乱子伦一区二区三区国产精品| 一线黄色免费性爱片| 青青伊人加勒比海| 99热这里都是精品| 国产v片在线免费观看| 日韩资源网| 国产精品免费美女视频| 99热婷婷一区二区三| 免费夜夜爱黄色视频毛片| 国产色图乱伦| 黄久在线| 99国内精品| 久久精品国产AV一区二区三区| 中文字幕久久精视频久久大全| 日韩不卡毛片Av免费高清| 东京男人天堂| 中文字幕91综合| 樱花蜜乳av| 久久精品国产99久久,亚洲日韩久久日本一区一区三区 | 欧美久久久15P| 综合 欧美 亚洲 日本| 美国三级日本三级久久99| 伊人AAA| 久久久精品中文字幕爱豆| 牛牛久久国产精品视频一二三| 日韩精品 视频一区二区| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 久久综合日韩亚洲欧美| 久久av一级av少妇av高潮 | 免费观看网黄| 91精品网站| AV中文字幕剧情1区2区3| 激情无码日韩| 成人小说另类在线| 九九九九热只有精品| 看黑人AV不卡| 99这里有精品| 久久麻豆一区二区| 图片区小说区| 欧美五十路熟| 性夜影院爽黄A爽免费动漫| 天天干夜夜肏| 99操| 成人日韩中文字幕| 日韩另类色图| 超碰成人免费| 欧日a| 久久性爱精品一区| 91欧美大片| 国产午夜无码片在线观看影视| 国产精品噜噜噜日日日| 综合九九| 少妇高潮喷水无套久久久久久| 久久久久中出| 色97| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 女色综合| 欧美在线亚洲| 欧美激情在线观看视频| 日韩日韩日韩-国产乱码精品一区二区| 激情终合网| 免费看美国人人爽,人人操| 亚洲欧美日韩夜夜| 操我无码| 欧美亚洲中文字幕| 91精品大奶人妻| 欧美日韩国内不卡| 国产在线精品偷| 福利伊人玖玖国产| 黄片www.| 女同亚洲欧美一二三区久久电影| 伊色久人大在线| 九区国产| 色天堂在线观看| 亚洲情色在线| 一区二三区四区视频大全套| 99热大香蕉伊在线| 黄页网站成人免费| 97硬碰| 成人AV素股で擦久久| 成人AV在线网站| 91社区伊人| 噜噜噜噜天天狠狠| 日本午夜福利视频| 岛国小电影| 亚洲色图亚洲| 欧美日韩亚洲少妇寂寞影院正在播放 | 人伦四五区| 1024日韩| 超硑97精品| 99re公开精品免费视频| 日韩色欲久久一二三四区| 在线免费观看日韩一区| juliaann丝袜| 日日干男人的天堂| 亚洲色鬼| 久久久工口| 福利视频香蕉免费一区二区在线| 亚洲丝袜诱惑| 久久午夜色播影院免费高清| AV麻豆免费一区| 人人看人人摸人人色| 亚洲男人天堂视频| 青青草视频爽一爽| 中文字幕一品色图| 偷拍 欧美 日韩| 国产一区二区三区影片| 伊人精品国产| 园内精品自拍视频在线播放| 91亚洲黄色网| 校园春色宗合网| 情色AV电影| 国产AV激情无码久久无码| 国产99999| 99啪啪| 国产乱人妻精品入口| 亚洲综合另类小说色区亚洲成av人片在www | 日日摸夜夜夜夜爽| 青青草在线视频播放器| 婷婷五月天_亚洲小说欧美激情另类_精品久久国产字幕 | 长长久久免费视频| 亚洲成人激情小说视频| 丁香五月激情啪啪| 欧美gv在线观看| 青操影院| 久久久亚洲精品电影免费看| 国产网红精品| 91无遮挡| 亚洲区限制级 99| 蜜桃传媒一区二区亚洲| 亚洲中文一区二区三区视频| 丰满美女一级毛片在线播放| 伦理日韩国产久久| 性影在线视频| 国产农村妇女精品一| 久草午夜| 色原狠狠天天天| 亚洲激情天堂网| 天天影视色香色欲| 五月色网| 日本岛国黄色网址| 色嗨嗨在线| 韩三级a视频在线观看| 干超碰碰熟女| 97亚洲中文| 日本阿v天堂在线观看| 少妇色综合| 美女97超碰| 亚洲男人天堂网久久| 久久男人的天堂国产| 综合操逼| 国产精品久久伊人| 欧美在线播放aaaa| 丁香婷婷啪啪| www.天天干| 99免费在线视频| 中文字幕一区日韩精| 色色婷| 在线v中文字幕一区二区三区 | 国产高清无码一区三区二区| 超碰97综合在线| 亚洲蜜桃V妇女| 欧美日韩国产黄色片| 天天做日日做天天欢。| 欧美很很操视频| 色色色综合| 熟妇人妻一区二区三区| 精品999日本| 97国产精品久久久久| 亚洲色资源| 欧美丝袜亚洲| 欧美一级在线观看成人| 日韩精品一区二区日韩| 婷婷中文字幕| 9 7超碰在线免费观看| 欧美综合色站| 不卡二三区人妻少妇| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师黑人潮喷一 | 黄日韩| 欧美成人综合| 国产久久天堂资源| 欧美亚洲国产91在线| 99热99在线播放激情| 久久精彩视频| 久久久性少妇| 欧美日韩*字幕一区| 国产精品交换一区二区| av 模特一区了| 九九九九热| 啪啪啪综合网| 青青草国产一区二区三区| 国产精品视频内谢女人| 水野优香在线观看| 亚洲欧美视| 亚洲av影音先锋| 欧洲亚洲人妻无码中字久久三区四区| 欧美情色亚洲| 六月激情网| 四虎影视国产精品| 国产精品久久久久久片| 我中文字幕6区| 欧美亚洲系列| 亚欧精品久久久久久久久久久| 婷婷九月国产| 性爱av网站| 九色 蝌蚪 熟女自 | 久久久久久AⅤ无码免费肉站 | 日韩九九九| 巨爆乳肉感一区二区三区竹菊影视| 2017大香蕉国产精品久久| 91AV入口| 大香蕉天天看妹子| heyZO天然素人无码AⅤ专区| 久草资源在线视频官方总站日韩丝袜美腿| 国产午夜精品理论片a大结局| 91xingse| 18啪啪手机免费性爱| 一区中文字幕二区日韩| 蜜乳视频网站| 亚洲制服欧美另类内射| 免费精品中文字幕| 人妻精品4K4K4K4K4| 日韩一级二级三级| 99热导航| 国产欧美岛国精品一区| 久久99国产综合精品女同| 国产精品国产亚洲区艳妇糸列| 五月天婷婷欧美三区| 91在线/欧洲| 大逼色网站| 亚洲丝袜色| 人妻中文字幕精品无码| 亚州黄站| 一区二区三区四区五区高清无码永久视频| 青娱乐淫乱1314| 久操大香蕉超碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰 | 青青草中出视频 | 中文字幕 一区二区 亚洲无码| 成人自拍三级在线观看| 99最新日韩偷拍视频| 亚洲91av| 久99| 欧美不卡二区| 熟女激情综合网| 中文字幕黄色一起草| 久干网| 偷拍亚洲高清图片| 不卡在线一区,精品一区二区三区中| 欧美性爱第一页久久| 九月丁香综合网| 精品综合久久久久久五月天| 日本亚欧爱爱| 成人天天爽| 大香蕉欧美国产日韩高潮| 亚洲阿v天堂无码z2018| 久草精品国产99| 色妇综合网| 91精品久久久久| 欧美性五月| 日韩中文字幕宗合在线| 加勒比海成人视频网| 天天影视色香色欲| 一区二区日韩欧美久久| 亚洲免费成人在线高清无码视频| 美女诱惑久久| 天天做天天爱| 99精品在线| 爱我干综合| 麻豆国产尤物AV| 伊人影院中文字幕| 夜夜嗷嗷一区二区| 九九热在线精品视频| 亚洲男人的天堂网| 丝袜视频网国产90| 中文字幕欧美日韩三级| 人人操人人干xxx| 色婷婷激一区二区三区 | 欧美精品自慰系列寂寞少妇 | 久久有码视频| 亚洲本色精品一区二区久久| 欧美综合娱乐久久| 久99视频| 久久免费看高潮毛片韩国| 欧美情色男人的天堂| 亚州,欧美在线| 在线视频 亚洲精品| 日韩探花精品在线视频| 97日本超碰综合| 久久久久921| 精品国产乱码久久久久久免费| 亚洲黑人在线| 亚洲综合色在线| 日本不卡二三区| 91女人的网站| 懂色aV一区二区天美传媒| 青青草AV色| 亚洲伊人久久综合97| 在线日韩精品一区二区三区| 国产精品久久久久久无码红治院| 五月丁香婷婷啪啪| 99热精品在线播放| 久久久久性熟视频| 天天综合色图| 久久香蕉综合一本到3atv| 欧美永久激情一区二区| 亚洲在线A| 国产精品久久久久久久黄无码| 亚洲情色五月天 | 啊啊啊啊啊舒服| 国产JDAV无码视频在线观看| 天天日少妇逼AV| 日日骚一区二区三区| 加勒比在线视频一区二区三区| 超碰国产情侣自拍网| 欧美综合另类| 国产成人亚洲精品自产在线| 国产自偷| 丁香六月婷婷久久综合| 中文字幕欧洲有码| 亚洲精品影视老司机| 射丝袜大香蕉| 国产精品一级毛片不卡视| 中文字幕一区av| 久久精品黄色| 亚洲成人碰碰| 热思思免费视频| 色大师网站www永久网站视频| 夜夜操美女| 超碰98综合网| 狠狠色婷婷7777久| 97久久超碰| 99热精品国产| 亚洲精品美女久久久久久久久| 黑人精品欧美一区二区蜜桃| 920日本午夜免费| 97在线/亚洲| 狠狠狠一区二区三区| 韩日欧亚a级| 天天干天天日天天射黄色| 性爱视频免费网址| 麻豆性爱视频在线播放| 色一色综合网| 精品欧美不卡在线播放| 超碰97资源网亚洲| 亚洲五月天激情| 囯戸精品高潮呻吟旡码| 欧美日韩亚洲国产中文永久天天看| 久热婷婷| 操日韩第| 78久久| 亚洲国内精品成人不卡| 综合 欧美 亚洲 日本| 91色插| 9超碰免费| 亚洲nv男人的天堂网| av强奸乱轮| 在线日韩精品一区二区三区| 99re综合伊人| 国产熟女精品区| 素人美腿视频网站| 五月天色五月| 91麻豆va国产精品| 欧美性爱视频免费一区一A| 亚洲国产成人精品999| 高潮综合网| 国产熟女一区二区丰满| 麻豆天美国美国产AV| 亚洲天堂久久| 亚洲夜夜欢无码一区二区| 婷婷丁香五月天亚洲天堂网| 欧亚性爱在线视频| 久久性爱精品一区| 国产一区自拍欧美日韩 | 性天堂| 九九九九九九九九九九精品视频| 中文字幕乱码人妻一区二区三区,99精品| 亚洲最大无码中文字幕网站| 国产精品一区二区 尿失禁| 欧美色www亚洲国产阿娇要播| 久久久久久久唑| 麻豆黄四叶草网站| 91天天日| 久操99| 91 丝袜在线| 夜夜综合| 欧美高清在线| 亚洲永久AV无码精品秋霞| 青青草啪啪网| 男人的天堂三级| 97亚洲中文| 国产探花日韩援交| 亚洲九月丁香| 亚州国产精品乱| 日日干日日操五月天伦理视频| 丁香五月成人| 日韩不卡码| 在线色资源| 国产精品第一页国产大屁股视频免费区 | 国产美女高潮叫床视频| 五月婷丁香| 绯色AV粉色AV蜜臀AV| 九九九九九九免费视频| 欧美碰碰综合色| 丁香色狠狠色综合久久小说| 乱伦1色页| 日本有码影片下载| 天天日美女的B| 国产精品一区二区密臀| 黄色大片免费在线| 久久香蕉影院| 欧美天天综合站| 欧美激情激情xxxx欧美专区| 国产成人自拍视频在线| 亚洲不卡不卡中文字幕不卡| 成人AV在线网站| 东京太热男人的天堂久久久| 一区二区三区探花在线观看| 大香蕉97久久| 亚洲好色人妻| 首页中文字幕中文字幕免费| 亚州精品丝袜-不卡成人免费| 欧美宗合网| 成人小电影网站tex| 日韩射图| 婷婷综合五月| 亚洲欧洲激情卡通另类文学四射小说网站 | 92福利社视频| 立川理惠被中出无码 | 国产一区二区三区高清视频| 日本顶级天天操狠狠操夜夜操中文字幕| 九九无码视频| 狠狠中文字幕| 日韩 人妻 精品| 蘋果手機免費看成人Av| 欧美日韩少妇色情| 超碰在97| 免费97视频| 在线日韩精品一区二区三区| 国产成人91一区二区三区| 自拍欧美| 国产亚洲日本精品在线| 成人五月天色网| 天天上日日上日韩精品| 五月色网| 色爱天堂| 91亚州日韩高清| 欧美精品久久96人妻无码| 亚洲精品亚洲人成人网| 97久久久网站| 大香蕉宗合网在线| 人人爽天天爽| 五十路熟女工口| 美女丝袜激情小说| 无卡一区=区| 大香蕉视频一二三区| 国产视频大全| 超碰国产在线| 日本成熟少妇A∨网站| 五十路熟女工口| 一区二区娱乐网站| 亚州熟女乱伦| 国模91| 人妻少妇视频在线播放| 在线观看成人性爱免费小视频| 久操视频免费观看| 性色一线| 日韩欧美午夜一区二区| 97人人色| 日韩在线97| 欧美日综合| 国产Av超碰| 一区二区三区四区在线不卡| 大香蕉视频一二三区| 99久久e免费热视| 亚洲精品丝袜-不卡成人免费……| 中文字幕视频一区视频二区| 就去色综合| 久久宗合亚洲| 色噜噜人妻丝袜AV资源| 亚洲天堂电影精品一区| 99热aaa| 午夜福利免费精品视频| 亚洲色图尤物视频| 免费人成毛片乱码| 天天影视色香欲综合网小说| 5252色欧美在线男人的天堂| 亚洲欧美日韩中文久久自慰| 人人超碰在线观看黄| 夜夜操二区| 日本污ww视频网站| 在线强奷到舒服的无码视频 | 久久精品熟女亚洲AV麻豆软件| 国产美女91| 丰满人妻一区二区中文| 久综合国内精品自在自线| 蜜臀av中字字幕网站| 久久精品国产Aⅴ| 蜜桃传媒视频第一区入口在线看| 欧美91精品国产自产| 国产深喉| 久久亚洲日韩熟女精品| 内射日韩大臀美女| 99国产精品视频尤物| 在线视频免费观看午夜| 草草电影院| 亚洲欧美日韩免费电影| 草莓精品视频在线免费观看| 亚洲精品国产无码高清| 伊人久操| 91大学精品激情戏| 91殴美大片| 嗯嗯嗯啊啊啊干死我吧| 久久婷婷综合国际产色怕| 国产精品一区二区三区,亚洲综合| 国产熟女完整版中字| 天天操人人操狠狠插| 伦伦成年午夜免费视频| 青青操综合网| 亚洲天堂东京热| 亚州欧美一区| 97免费视频在线| 蜜臀久久99精品久久综合| 日韩性爱视频在线免费观看| 天天日天天干天天摸天天操| 青青青操| 丁香婷婷啪啪| 91国产美女丝袜足交精品视频 | 伊人精品国产| 亚洲极品| 欧美精品日韩久久久九| 夜夜爽77777| 91白虎| 韩日性爱av| 亚洲91网。| 国产视频第2页| 国产综合在线视频网站| 亚洲 日韩 欧美 国产综合体| 舔舔啊| 久操网视频| 成人十八禁日韩欧美一二三| 91肉片| 日韩欧美女优电影| 亚洲美女高潮喷水视频| 99热99在线播放激情| 天堂日本亚洲欧美| 夜夜精品视频| 嫩草在线视频| 韩国黄片aaaa| 69少妇一区二区| 91在线秘 男同| 脫衣舞一区二区三区| 久久粉色| 久久色一区| 欧美图片色五月天| 99热久| 亚洲在线欧美| 人人手机欧洲亚洲国产人妻| 84YTCOM性无码| 中文字幕 av v| 青青青国产手线观看视频2| 91久久18禁| 91丨豆花丨熟女| 欧美人人天天网| 超碰伊人在线| 九九热午夜欧亚国产视频| 日本在线视频导航| 2001天天操| s片在线观看| 蜜臀在线看片| 成人青青草原伊人| 強姦亂倫a| 再深点灬舒服灬太大了好硬好爽| 嗯阿好爽好紧| 色在线69堂| 亚洲春色激情小说| 色香色欲天天综合网天天来吧| 久久蜜桃一区二区| 欧美人妻中出| 涩涩五月天| 岛国视频免费在线观看| 97视频在线播放| 久久久久9999妇女| 国产免费小视频| 综合国产影视三级| 久久这里精品国产99丫e6| 日韩九九九| 狠狠欧美| 免费成人在线熟妇网| 97精品一区二区视频| 综合激情五月丁香| 精品999999| 天天综合91入口| 91AV天美在线视频| 97国产天堂岛| 天天操女人| 99热综合| 免费看一级a性色生活片久久无| 欧美一级AAAAAAA| 色蜜AV| 99久久国产精品免费高潮| 欧美亚洲国产自久久| 国产免a费看黄片在线| 成人热久久精品| 亚洲国产另类在线中文| 婷婷五月天激情四射| 久热最新在线杭州| 亚洲无992tv| 国产高清自拍视频| a片偷拍视频| 国产偷拍网站| 天天操天天射天天日| 男人天堂站| 中文字幕 国产 精品| 天天天天干| 青青11操操操操操操操操| 嗯啊不要啊啊在线观看视频| 亚洲色图 欧美热图 清纯唯美 另类自拍 | 很狠操| 午夜美女诱惑电源网| 亚洲色阁| 99亚洲精品| 国产丝袜啪啪| 97天天弄| 欧美日韩m| 色狠狠 - 百度| 亚洲欧洲日韩中文字幕一区| 欧洲Au麻豆| 无码日韩网站| 十八禁av无码免费网站APP| 97在线免费公开视频| 亚洲诱惑| 打av高清| 日韩AV一起草| 人妻81p| 亚洲天堂男人天堂网| 东京热AV男人的天堂| 目产99999久久999| 九九碰九九爱97超| 日韩精品在线观看网站| 亚洲精品久久久久久久久豆丁网| wuyechaopeng| 97在线免费看视频| 色综合网1| 超碰久久草| 日韩av影片在线观看| 亚洲人成色9999精品久久| 无码欧美有限公司| 亚洲欧美首页| 婷婷五月天色色| 一区二区三区精品视频| 九九久久99| 呦呦一区| 欧美熟妇人体| 综合另类| 影音综合网| 啊啊啊草死我| 俺去俺来也在线www| 日本女人操逼| 欧美男女午夜啪啪| 91国产精品熟女| 欧美日韩人妻精品一区二区三区| 乱伦av麻豆| 久久亚洲天堂| 黄色AAAAA欧美| 啊灬啊灬啊灬啊灬高潮奶出了免费视| 性色生活片久久毛片婬片免费放女人一级毛片| 日韩情色AV| 日韩国产成人自拍视频| 欧美大香蕉久| 999岛国大片| 伊人国产视频| 偷窥自拍A片| 吻戏激情性巴克| 国产精品一区人妻精品阁在线| 久久性爱视频99| 熟女天天干| 国产区性爱在线视频秋霞豆| 男人的天堂kva| 国产精品国产自产拍高清AV| 精品国产一区二区三区香蕉欧美| 久久一本大香蕉| 亚洲欧美日韩综合在线尤物 | 内射夫妻三片| 天堂精品| 深田咏美亚洲精品福利社 | 免费αV在线视频| 国产AB视频| 伊人综合色网| 日本视频在线观看污污污| 美女诱惑久久| 啊啊啊啊啊啊啊啊啊在线观看| 91爱| 亚洲宅男天堂| 色汉综合| 中文字幕视频2区| 国产精品久久久午夜夜伦鲁鲁| 无码高清少妇久久| 香蕉久久精品| 午夜小电影在线插入淫高潮| 久久天天摸| 91美女网站| 美女的肌被草喷水视频| 超碰色老头| 欧美熟爽综合| 欧美乱色| 黑操B| 婷婷丁香久久| 中文字幕在线观看二区三区| 高潮的A片激情扒开一区| 欧美精品宗合| 尤物av网站免费在线播放| 97色操| 欧美性高潮| 免费在线视频97| 欧美综合网站999| 青青草AV色| 精品人妻无码一区二区三区不卡-精品人妻无码一区二区...|精品少妇一区二区三 | 国产精品宅男免费| 操逼视频国产无套| 国产在线视频二区| 91精品国产日韩欧美综合| 26uuu国产亚洲综合| 国产野战露脸在线播放| 国产午夜精品理论片一二三区区 | 超碰97综合在线| 欧美成人都市人妻| 天堂中文资源在线bt| 青娱乐二区免费| 精品人妻丰满熟妇一区二区三| 北京美女一区二区| 国产最新AV| 日本三级日本三级99| av爱爱爱| 操死我了啊啊啊| 裸体美女久久久| 天综合网| 日本色色色视频| 国产精品久久aV| 亚洲欧美日韩制服另类| 国产美女在线精品免费看| 国产色呦呦| 久久av色| 亚洲在线91| 免费作爱一级视频| 久久超碰免费的| 欧美黑人168页欧美黑人167| 免费观看一区| 最新中文字幕在线亚洲| 国产suv精品一区二六| 伦激情人妻另类人妻| 国模限制级电影| 伊人四虎综合| 久久久久久69国产一区二区| 日韩亚洲精品一区二区| 亚洲好色人妻| 高潮的A片激情扒开一区| 久久99操天天日| 日日AAvv| 再深点灬舒服灬太大了好硬好爽| 亚洲码专区| 国产精品久久久久久久久久久久久久久 | 天天天干977| 婷婷六月色开| 天操老女人| 欧美亚洲高清| 久久国产精品91| 久久久96| 中文字幕国产精品1区| 9丨久久九九九| 久久人妻视频网| 久久久久久久久久久久欧美日| av线电影| 97综合| 强奸乱伦Av网| 亚洲最大的黄色电影网站。| 呦女网站| 成人性爱AV在线免费观看| 亚欧无码在线| 变态综合色| 五月激情在线| 亚洲无码国产探花在线观看| 中文字幕97色| 美女被艹尤物视频| 好涩综合| 欧美少妇第一页| 欧美日韩 强奸乱伦| 桑老女人九区| 91jk色拍| 在线国产一区二区av| 欧美天天综合在线| 五月丁香黄色网| 九九久久首页| 国产一级内射高清视频| 久久久一区二区三区麻豆| 亚州操逼图| 久久精品日韩专区免费观看| 日韩精品在线观看观看| 欧美72网页| 激情综合婷婷| 熟妇无码视频三区| 开心五月婷婷激情| 国产精品久久久久久 百度| 九久精品| 青青草久久在线| 久久鲁夜| 91久热这里只有精品| 韩国一级婬片A片AAAAA| 亚洲图片色图欧美另类| 久久久久久久| 嗯嗯啊啊好疼| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 亚洲人妻久久久| 91人妻丝袜无码| 长长久久免费视频| 中文字幕成人| 超碰精品在线| 亚洲日韩美国人妻| 色五天伊人| 国产欧美岛国精品一区| 欧美精品999| 岛国视频一二三区| 黄片com.| 欧美日本国产日韩激情视频| 26uuu欧美日韩| 色综合一区二区三区| 四虎精品一区| 夜精品久无码| 久久久久久久久国产| 国产蜜臀精品一区免费尤物| 久操网址|