日韩精品一区二区三区在线视频放-无码中文字幕V?一区二区-成年片免费观看视频-国内少妇人妻丰满av-国产精品中文字幕免费观看-亚洲成人久久一区二区三区-国内少妇偷人精品视频无缓冲-一区二区国产精品日本一区二区三区在线网

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

CANN ops-nn 中 SwishGrad 算子解析:原理、實(shí)現(xiàn)與 aclnnSwishBackward 調(diào)用指南

CANN ops-nn 中 SwishGrad 算子解析:原理、實(shí)現(xiàn)與 aclnnSwishBackward 調(diào)用指南 CANN ops-nn 中 SwishGrad 算子解析原理、實(shí)現(xiàn)與 aclnnSwishBackward 調(diào)用指南【免費(fèi)下載鏈接】ops-nn本項(xiàng)目是CANN提供的神經(jīng)網(wǎng)絡(luò)類計(jì)算算子庫(kù)實(shí)現(xiàn)網(wǎng)絡(luò)在NPU上加速計(jì)算。項(xiàng)目地址: https://gitcode.com/cann/ops-nn導(dǎo)讀SwishGrad 是 CANN 神經(jīng)網(wǎng)絡(luò)算子庫(kù)ops-nn中用于計(jì)算 Swish 激活函數(shù)梯度的反向算子實(shí)現(xiàn)在倉(cāng)庫(kù)的 experimental/activation/swish_grad 目錄下面向 Atlas A2 訓(xùn)練系列產(chǎn)品/Atlas 800I A2 推理產(chǎn)品提供 fp16、fp32、bf16 三種精度的梯度計(jì)算能力。本文以 swish_grad/README.md 為核心骨架結(jié)合倉(cāng)庫(kù)中算子定義、Host 側(cè) tiling、Kernel 側(cè)昇騰 AI Core 實(shí)現(xiàn)與單元測(cè)試完整講解 SwishGrad 的數(shù)學(xué)原理、參數(shù)約束、兩段式 aclnn 接口調(diào)用流程與源碼級(jí)實(shí)現(xiàn)機(jī)制幫助開(kāi)發(fā)者快速上手在 NPU 上完成 Swish 反向傳播的接入與調(diào)試。一、算子功能與數(shù)學(xué)原理1.1 功能定位SwishGrad 算子是 Swish 激活函數(shù)activation/swish的反向傳播算子求 Swish 函數(shù)的梯度。它接收反向傳播傳入的梯度grad、正向輸入x以及可調(diào)節(jié)參數(shù)scale輸出對(duì)輸入x的梯度grad_x。從算子庫(kù)的接口關(guān)系來(lái)看上層對(duì)外暴露的 API 名為aclnnSwishBackward其功能說(shuō)明文檔 docs/aclnnSwishBackward.md 明確指出它是 aclnnSwish倉(cāng)庫(kù)實(shí)際路徑為 activation/swish/docs/aclnnSwish.md激活函數(shù)的反向傳播用于計(jì)算 Swish 激活函數(shù)的梯度。這與 torch 生態(tài)中的swish_backward語(yǔ)義一一對(duì)應(yīng)。1.2 計(jì)算公式根據(jù) swish_grad/README.md 的功能說(shuō)明SwishGrad 的計(jì)算公式如下$$ y sigmoid(scalex) xsigmoid(scale*x) $$$$ sigmoid sigmoid*(1 - sigmoid) $$其中scale為可調(diào)節(jié)的斜率參數(shù)。更精確的推導(dǎo)形式見(jiàn) docs/aclnnSwishBackward.mdSwish 正向函數(shù)$$ s(x) x*\sigma(\beta x) $$其導(dǎo)數(shù)$$ s^\prime(x) \beta s(x)\sigma(\beta x)(1-\beta s(x)) \sigma(\beta x)*(1\beta x(1-\sigma(\beta x))) $$最終輸出梯度$$ gradInput gradOutput * s^\prime(x) $$其中 Sigmoid 函數(shù)定義為$$ \sigma(x) {\frac{1} {1{e}^{-x}}} $$可見(jiàn) README 中的兩條公式本質(zhì)是先算 sigmoid 值再算 1 - sigmoid即導(dǎo)數(shù)因子最后與梯度逐元素相乘這一計(jì)算鏈的簡(jiǎn)寫。對(duì)照 op_kernel/swish_grad.h 的Compute實(shí)現(xiàn)可以逐行印證該公式σ(βx) 1 / (1 exp(-βx)) σ(βx) σ(βx) * (1 - σ(βx)) s(x) σ(βx) βx * σ(βx) // 即 σ(βx) * (1 βx(1 - σ(βx))) grad_x grad * s(x)1.3 參數(shù)說(shuō)明README 中對(duì)算子原語(yǔ)的參數(shù)定義如下參數(shù)名輸入/輸出/屬性描述數(shù)據(jù)類型數(shù)據(jù)格式grad輸入待進(jìn)行 SwishGrad 計(jì)算的入?yún)⒐街械?gradfp16、fp32、bf16ND, FRACTAL_NZ, NC1HWC0x輸入待進(jìn)行 SwishGrad 計(jì)算的入?yún)⒐街械?xfp16、fp32、bf16ND, FRACTAL_NZ, NC1HWC0scale輸入待進(jìn)行 SwishGrad 計(jì)算的入?yún)⒐街械?scalefp321標(biāo)量y輸入待進(jìn)行 SwishGrad 計(jì)算的入?yún)簳r(shí)不參與運(yùn)算fp16、fp32、bf16ND, FRACTAL_NZ, NC1HWC0grad_x輸出待進(jìn)行 SwishGrad 計(jì)算的出參公式中的輸出fp16、fp32、bf16ND, FRACTAL_NZ, NC1HWC0約束說(shuō)明無(wú)。需要指出兩點(diǎn)值得注意的細(xì)節(jié)算子定義中的y輸入暫時(shí)不參與運(yùn)算。這在 op_kernel/swish_grad.cpp 的 kernel 入口中可以看到swish_grad內(nèi)核函數(shù)雖然接收GM_ADDR y但 op_kernel/swish_grad.h 的Init只為grad、x、grad_x建立了 GlobalBuffery并未被讀取屬于為后續(xù)版本預(yù)留的入?yún)?。上述表格描述的是底層算子的參?shù)形態(tài)對(duì)上層用戶而言真正接觸的是aclnnSwishBackward接口的參數(shù)見(jiàn)第三節(jié)。二、算子源碼結(jié)構(gòu)SwishGrad 在倉(cāng)庫(kù)中采用標(biāo)準(zhǔn)的 CANN 算子工程布局experimental/activation/swish_grad/ ├── docs/aclnnSwishBackward.md # aclnn 接口使用文檔 ├── examples/test_aclnn_swish_grad.cpp # 可運(yùn)行調(diào)用樣例 ├── op_host/ │ ├── op_api/ # l0 算子接口封裝l0op::SwishGrad │ │ ├── aclnn_swish_backward.cpp/h # 對(duì)外 aclnn 兩段式接口 │ │ └── swish_grad.cpp/h # l0 算子封裝與 launcher │ ├── swish_grad_def.cpp # 算子原語(yǔ)注冊(cè)O(shè)pDef │ ├── swish_grad_infershape.cpp # 輸出 shape 推導(dǎo) │ └── swish_grad_tiling.cpp # Host 側(cè) tiling 計(jì)算 ├── op_kernel/ │ ├── swish_grad.cpp # AI Core 內(nèi)核入口__global__ __aicore__ │ ├── swish_grad.h # Kernel 類實(shí)現(xiàn)雙緩沖流水 │ ├── swish_grad_tiling_data.h # tiling 參數(shù)結(jié)構(gòu)體 │ └── swish_grad_tiling_key.h # tiling key └── tests/ut/ # op_api / op_host / op_kernel 三級(jí)單測(cè)整個(gè)調(diào)用鏈為aclnnSwishBackwardGetWorkspaceSize→l0op::SwishGradHost 側(cè)拼裝算子→ADD_TO_LAUNCHER_LIST_AICORE下發(fā) → AI Core 內(nèi)核swish_grad執(zhí)行。下面逐層展開(kāi)。2.1 算子定義注冊(cè)op_defswish_grad_def.cpp 中通過(guò)OP_TYPE_REGISTER/OP_ADD注冊(cè)名為SwishGrad的算子四個(gè)數(shù)據(jù)對(duì)象輸入grad、x、y輸出grad_x數(shù)據(jù)類型支持DT_FLOAT16、DT_FLOAT、DT_BF16格式支持ND、NC1HWC0、FRACTAL_NZ三種屬性sconfAttrType(OPTIONAL).Float(1.0)即可選的 float 型斜率參數(shù)默認(rèn)值為 1.0對(duì)應(yīng)公式中的scale/βAICore 配置DynamicCompileStaticFlag(true)、DynamicRankSupportFlag(true)、DynamicShapeSupportFlag(true)、PrecisionReduceFlag(true)注冊(cè)到ascend910bSoC對(duì)應(yīng) Atlas A2 系列并通過(guò)ExtendCfgInfo(opFile.value, swish_grad)指定 kernel 入口文件名為swish_grad.cpp。2.2 輸出 shape 推導(dǎo)infershapeswish_grad_infershape.cpp 的實(shí)現(xiàn)非常直接讀取輸入x的 shape并將輸出grad_x的 shape 賦值為與之完全相同*yShape *xShape即逐元素反向算子輸出與輸入同 shape、同 dtype。這與 README 中g(shù)rad、x 與 grad_x 的 shape/數(shù)據(jù)類型一致的約束一致。2.3 Host 側(cè) tilingswish_grad_tiling.cppswish_grad_tiling.cpp 負(fù)責(zé)在 Host 側(cè)根據(jù)輸入規(guī)模與硬件資源計(jì)算切分方案GetPlatformInfo通過(guò)platform_ascendc::PlatformAscendC獲取 UBUnified Buffer大小、AI Core 核數(shù)以及塊對(duì)齊粒度GetUbBlockSizeGetWorkspaceSize查詢系統(tǒng)庫(kù) API 所需 workspace 大小并回填給框架GetShapeAttrsInfo根據(jù)輸入存儲(chǔ) shape 與數(shù)據(jù)類型字節(jié)數(shù)計(jì)算總數(shù)據(jù)量結(jié)合 UB 容量與雙緩沖需求BUFFER_NUM 2確定每個(gè)核負(fù)責(zé)的數(shù)據(jù)量bigCoreDataNum/smallCoreDataNum、tile 內(nèi)數(shù)據(jù)量tileDataNum以及尾部數(shù)據(jù)tailDataNum。最終產(chǎn)出的 tiling 數(shù)據(jù)結(jié)構(gòu)定義在 swish_grad_tiling_data.hstruct SwishGradTilingData { uint64_t smallCoreDataNum; uint64_t bigCoreDataNum; uint64_t finalBigTileNum; uint64_t finalSmallTileNum; uint64_t tileDataNum; uint64_t smallTailDataNum; uint64_t bigTailDataNum; uint64_t tailBlockNum; float sconf; };其核心思想是多核負(fù)載均衡 尾部數(shù)據(jù)處理把總數(shù)據(jù)量按核數(shù)均分若不能整除則前tailBlockNum個(gè)核多承擔(dān)bigCoreDataNum個(gè)數(shù)據(jù)其余核承擔(dān)smallCoreDataNum個(gè)數(shù)據(jù)每個(gè)核內(nèi)部再按tileDataNum切成多個(gè) tile 循環(huán)處理最后的余量作為尾 tile 單獨(dú)處理。2.4 AI Core 內(nèi)核實(shí)現(xiàn)op_kernelKernel 入口 swish_grad.cpp 通過(guò)REGISTER_TILING_DEFAULT讀取 tiling 數(shù)據(jù)實(shí)例化NsSwishGrad::KernelSwishGradDTYPE_X并調(diào)用Init與Process。核心實(shí)現(xiàn)位于 swish_grad.h其設(shè)計(jì)要點(diǎn)如下1雙緩沖流水線TPipe上建立了 VECIN 隊(duì)列inQueueGrad、inQueueX、inQueueY與 VECOUT 隊(duì)列outQueueGrad緩沖區(qū)個(gè)數(shù)均為BUFFER_NUM 2實(shí)現(xiàn) CopyIn → Compute → CopyOut 三階段重疊執(zhí)行。2fp16/bf16 與 fp32 兩條計(jì)算路徑對(duì)float16_t/bfloat16_t先把x通過(guò)Cast提升到 float 計(jì)算使用臨時(shí)緩沖區(qū)tmpQueue0/1/2經(jīng)歷Muls乘 β→Muls(-1.0)→Exp→Adds(1.0)→Div得到 σ(βx)→Sub得到 1-σ(βx)→Mul得到 βx·σ(βx)→Add(1.0)得到 1βx(1-σ(βx))→Mul與 σ(βx) 相乘 → 再與 grad 相乘最后以CAST_RINT舍入模式轉(zhuǎn)回半精度輸出對(duì)float直接在浮點(diǎn)路徑上完成同樣序列的運(yùn)算全程使用 float 精度輸出不降精度。3多核數(shù)據(jù)切片Init中根據(jù)coreId與tailBlockNum的關(guān)系選擇大核/小核的數(shù)據(jù)區(qū)間與 GlobalBuffer 偏移每個(gè)核只處理自己負(fù)責(zé)的連續(xù)數(shù)據(jù)段。內(nèi)核從sconf即 scale/β讀取斜率參數(shù)其值由 Host 側(cè)在aclnnSwishBackwardGetWorkspaceSize中從betaOptional標(biāo)量轉(zhuǎn)換而來(lái)缺省為 1.0f。2.5 測(cè)試用例佐證倉(cāng)庫(kù)為算子提供了三級(jí)單元測(cè)試可用于驗(yàn)證實(shí)現(xiàn)與本文結(jié)論op_api 層tests/ut/op_api/test_aclnn_swish_backward.cpp覆蓋 float32、float16、bf16 等場(chǎng)景構(gòu)造{2,5}的 gradOutput、self值域 [-1,1]與 beta如 1.1f、0.01f斷言aclnnSwishBackwardGetWorkspaceSize返回ACLNN_SUCCESS并設(shè)置了精度容差op_host 層tests/ut/op_host/test_swish_grad_tiling.cpp驗(yàn)證 tiling 計(jì)算產(chǎn)物各核數(shù)據(jù)量、tile 數(shù)等符合預(yù)期op_kernel 層tests/ut/op_kernel/test_swish_grad.cpp直接對(duì) AI Core 內(nèi)核做數(shù)值驗(yàn)證。三、aclnnSwishBackward 接口詳解3.1 產(chǎn)品支持情況產(chǎn)品是否支持Atlas A2 訓(xùn)練系列產(chǎn)品/Atlas 800I A2 推理產(chǎn)品√對(duì)應(yīng)到 SoC 層面算子原語(yǔ)注冊(cè)于ascend910b平臺(tái)見(jiàn) swish_grad_def.cpp且 aclnn_swish_backward.cpp 中的CheckSocVersionIsSupportBf16顯示 bf16 支持范圍限定在ASCEND910B至ASCEND910E之間的 SoC 版本。3.2 兩段式接口模型與 CANN 其他 aclnn 算子一致aclnnSwishBackward采用兩段式接口詳見(jiàn) docs/zh/context/two_phase_api.md先調(diào)用GetWorkspaceSize接口完成入?yún)⑿r?yàn)、算子拼裝并獲取所需 workspace 大小與執(zhí)行器再調(diào)用執(zhí)行接口真正下發(fā)計(jì)算。第一段接口原型aclnnStatus aclnnSwishBackwardGetWorkspaceSize( const aclTensor* gradOutput, // 正向輸出梯度公式中的 gradOutput const aclTensor* self, // Swish 激活函數(shù)輸入公式中的 x const aclScalar* betaOptional, // 可調(diào)節(jié)參數(shù) β標(biāo)量空指針時(shí)按 1.0 計(jì)算 aclTensor* gradInput, // 輸出對(duì)輸入的梯度 uint64_t* workspaceSize, aclOpExecutor** executor)第二段接口原型aclnnStatus aclnnSwishBackward( void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, aclrtStream stream)3.3 第一段接口參數(shù)說(shuō)明參數(shù)名輸入/輸出描述使用說(shuō)明數(shù)據(jù)類型數(shù)據(jù)格式維度(shape)非連續(xù) TensorgradOutput輸入Swish 激活函數(shù)正向輸出的梯度公式中的 gradOutput支持空 TensorgradOutput、self 與 gradInput 的 shape 一致三者的數(shù)據(jù)類型一致BFLOAT16、FLOAT16、FLOATND0-8√self輸入用于計(jì)算激活函數(shù)的張量公式中的 x支持空 Tensor同上BFLOAT16、FLOAT16、FLOATND0-8√betaOptional輸入可調(diào)節(jié)參數(shù)控制 Swish 函數(shù)的形狀和斜率公式中的 β數(shù)據(jù)類型需可轉(zhuǎn)換為 FLOAT參見(jiàn) docs/zh/context/deduction_relationship.md 的互推導(dǎo)關(guān)系空指針時(shí)以 1.0 計(jì)算----gradInput輸出backward 計(jì)算的輸出Swish 正向輸入的梯度值支持空 Tensorshape 與數(shù)據(jù)類型同前兩者BFLOAT16、FLOAT16、FLOATND0-8√workspaceSize輸出返回需要在 Device 側(cè)申請(qǐng)的 workspace 大小-----executor輸出返回 op 執(zhí)行器包含算子計(jì)算流程-----返回值aclnnStatus具體返回碼參見(jiàn) docs/zh/context/aclnn_return_code.md。第一段接口會(huì)完成入?yún)⑿r?yàn)以下場(chǎng)景會(huì)報(bào)錯(cuò)返回碼錯(cuò)誤碼描述ACLNN_ERR_PARAM_NULLPTR161001傳入的 gradOutput、self 或 gradInput 是空指針ACLNN_ERR_PARAM_INVALID161002gradOutput、self、betaOptional 或 gradInput 的數(shù)據(jù)類型不在支持范圍之內(nèi)ACLNN_ERR_PARAM_INVALID161002gradOutput、self 和 gradInput 的數(shù)據(jù)類型不同ACLNN_ERR_PARAM_INVALID161002gradOutput、self 和 gradInput 的 shape 不同3.4 第二段接口參數(shù)說(shuō)明參數(shù)名輸入/輸出描述workspace輸入在 Device 側(cè)申請(qǐng)的 workspace 內(nèi)存地址workspaceSize輸入在 Device 側(cè)申請(qǐng)的 workspace 大小由第一段接口aclnnSwishBackwardGetWorkspaceSize獲取executor輸入op 執(zhí)行器包含算子計(jì)算流程stream輸入指定執(zhí)行任務(wù)的 Stream返回值同樣為aclnnStatus。約束說(shuō)明無(wú)。3.5 接口內(nèi)部實(shí)現(xiàn)要點(diǎn)aclnn_swish_backward.cpp 的實(shí)現(xiàn)清晰展示了接口層的處理流程可作為閱讀模板參數(shù)校驗(yàn)CheckParams依次執(zhí)行空指針檢查CheckNotNull、數(shù)據(jù)類型檢查CheckDtypeValid支持列表為 FLOAT16/FLOAT/BF16且校驗(yàn) betaOptional 可轉(zhuǎn) FLOAT、三個(gè)張量 dtype 一致、bf16 受 SoC 版本約束與 shape 檢查CheckShapeValid維度上限為MAX_SUPPORT_DIMS_NUMS三個(gè)張量 shape 一致空 Tensor 短路當(dāng)gradOutput或self為空時(shí)workspaceSize直接置 0 返回不執(zhí)行計(jì)算連續(xù)性處理對(duì)非連續(xù)輸入調(diào)用l0op::Contiguous轉(zhuǎn)為連續(xù) Tensor對(duì)應(yīng)參數(shù)表中非連續(xù) Tensor √的支持能力高維 reshape當(dāng)輸入維度超過(guò) 8 時(shí)將輸入展平為 1 維長(zhǎng) Tensor 交給 kernel計(jì)算完后再Reshape回原維度β 轉(zhuǎn)換betaOptional通過(guò)ToFloat()轉(zhuǎn)為 float空指針時(shí)取默認(rèn)值1.0f下發(fā)與收尾調(diào)用l0op::SwishGrad完成算子拼裝通過(guò)l0op::ViewCopy將結(jié)果拷貝到可能非連續(xù)的輸出gradInput上最終以GetWorkspaceSize()匯總整體 workspace 需求第二段接口則直接調(diào)用框架通用執(zhí)行函數(shù)CommonOpExecutorRun完成異步下發(fā)。四、完整調(diào)用示例與運(yùn)行指引4.1 可運(yùn)行樣例倉(cāng)庫(kù)提供了可直接參考的完整樣例 examples/test_aclnn_swish_grad.cpp編譯與運(yùn)行方法可參照 docs/zh/context/compile_and_run_sample.md。樣例的核心流程如下為便于閱讀做了精簡(jiǎn)完整代碼以倉(cāng)庫(kù)文件為準(zhǔn)#include acl/acl.h #include aclnn_swish_backward.h int main() { // 1. 固定寫法device/stream 初始化 int32_t deviceId 0; aclrtStream stream; auto ret Init(deviceId, stream); // aclInit aclrtSetDevice aclrtCreateStream // 2. 構(gòu)造輸入與輸出示例 shape 均為 {2, 3} std::vectorint64_t gradOutputShape {2, 3}; std::vectorint64_t selfShape {2, 3}; std::vectorint64_t gradInputShape {2, 3}; std::vectorfloat gradOutHostData {1, 1, 1, 1, 1, 1}; std::vectorfloat selfHostData {1, 2, 3, 4, 5, 6}; float betaValue 1.1f; // 用 aclrtMalloc/aclrtMemcpy 把 host 數(shù)據(jù)搬到 device并 aclCreateTensor 創(chuàng)建 aclTensor aclTensor* gradOut CreateAclTensor(gradOutHostData, gradOutputShape, ..., ACL_FLOAT, ...); aclTensor* self CreateAclTensor(selfHostData, selfShape, ..., ACL_FLOAT, ...); aclTensor* gradInput CreateAclTensor(/* 輸出占位 */, gradInputShape, ..., ACL_FLOAT, ...); aclScalar* betaOptional aclCreateScalar(betaValue, aclDataType::ACL_FLOAT); // 3. 兩段式調(diào)用 uint64_t workspaceSize 0; aclOpExecutor* executor; ret aclnnSwishBackwardGetWorkspaceSize(gradOut, self, betaOptional, gradInput, workspaceSize, executor); void* workspaceAddr nullptr; if (workspaceSize 0) { aclrtMalloc(workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); } ret aclnnSwishBackward(workspaceAddr, workspaceSize, executor, stream); // 4. 同步等待執(zhí)行結(jié)束 aclrtSynchronizeStream(stream); // 5. 將 device 側(cè)結(jié)果拷回 host 并打印本例輸出為 gradInput grad * s(x) std::vectorfloat outData(6, 0); aclrtMemcpy(outData.data(), ..., gradInputDeviceAddr, ..., ACL_MEMCPY_DEVICE_TO_HOST); // 6-7. 釋放 aclTensor / aclScalar / device 內(nèi)存 / stream并 aclFinalize return 0; }樣例中g(shù)radOutput {1,1,1,1,1,1}、self {1,2,3,4,5,6}、beta 1.1執(zhí)行后打印的 6 個(gè)輸出值即為對(duì)應(yīng)位置的grad * s(x)數(shù)值可直接對(duì)照第一節(jié)的公式手工驗(yàn)算。4.2 調(diào)用步驟要點(diǎn)初始化aclInit(nullptr)→aclrtSetDevice(deviceId)→aclrtCreateStream(stream)構(gòu)造 Tensorshape/stride 一致、數(shù)據(jù)類型為 FLOAT16/FLOAT/BF16、格式為 ND支持非連續(xù) Tensor接口內(nèi)部會(huì)自動(dòng)Contiguous支持空 Tensor兩段式調(diào)用第一段拿到workspaceSize與executor若workspaceSize 0則在 device 側(cè)申請(qǐng)內(nèi)存然后調(diào)用第二段aclnnSwishBackward同步與取數(shù)aclrtSynchronizeStream后通過(guò)aclrtMemcpyDEVICE_TO_HOST讀取輸出資源釋放依次釋放aclTensor/aclScalar、device 內(nèi)存、workspace、stream最后aclrtResetDeviceaclFinalize。4.3 注意事項(xiàng)三個(gè)張量gradOutput、self、gradInput的shape 與數(shù)據(jù)類型必須完全一致否則第一段接口返回ACLNN_ERR_PARAM_INVALID161002betaOptional傳nullptr時(shí)按β 1.0計(jì)算此時(shí)算子退化為 PyTorch 中默認(rèn)swish的梯度形式傳入時(shí)其數(shù)據(jù)類型需可互推導(dǎo)為 FLOATbf16 輸入僅在支持 bf16 的 SoC 版本ASCEND910B~ASCEND910E上可用該算子底層為逐元素計(jì)算輸出與輸入同 shapey入?yún)轭A(yù)留項(xiàng)當(dāng)前版本不參與運(yùn)算。五、總結(jié)SwishGrad 算子是 ops-nn 倉(cāng)庫(kù)中一個(gè)典型的逐元素反向算子樣例完整展示了 CANN 算子的標(biāo)準(zhǔn)五件套OpDef 注冊(cè)swish_grad_def.cpp、InferShapeswish_grad_infershape.cpp、Host 側(cè) tilingswish_grad_tiling.cpp、AI Core 內(nèi)核op_kernel/swish_grad.h與 aclnn 兩段式對(duì)外接口aclnn_swish_backward.cpp。理解其數(shù)學(xué)推導(dǎo)σ(βx)·(1βx(1-σ(βx)))、多核均衡 tiling 策略、半精度轉(zhuǎn)浮點(diǎn)計(jì)算的精度處理以及兩段式接口的調(diào)用范式即可舉一反三地接入 ops-nn 中其他同構(gòu)的激活函數(shù)反向算子如 SiluGrad。實(shí)際開(kāi)發(fā)中若需驗(yàn)證算子行為可參考倉(cāng)庫(kù) tests/ut 下的 op_api、op_host、op_kernel 三級(jí)測(cè)試用例或直接編譯運(yùn)行 examples/test_aclnn_swish_grad.cpp 樣例。【免費(fèi)下載鏈接】ops-nn本項(xiàng)目是CANN提供的神經(jīng)網(wǎng)絡(luò)類計(jì)算算子庫(kù)實(shí)現(xiàn)網(wǎng)絡(luò)在NPU上加速計(jì)算。項(xiàng)目地址: https://gitcode.com/cann/ops-nn創(chuàng)作聲明:本文部分內(nèi)容由AI輔助生成(AIGC),僅供參考
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产天美传媒精品| 女人18精品一区二区三区| 青青草精玖玖69精品| 精品国产a∨一区天美传媒| 免费av在线播放二区| www黄片免费看com| 丝袜av一区二区三区| 粉嫩av在线一区二区| 操狠狠| 精品无码一区二区三区| 岛国视频一二三区| 日日夜夜青青草母狗| 国产精品一区二区三区四区五区| 亚洲色图亚洲无码强奸乱伦| 91亚洲影院综合| 亚洲黄色| 日韩一级二级| 黑人娇小av在线播放| 欧美性爱精品一区二区| 蜜臀久久精品久久久久视频| 国产懂色精品国产av| 人人做天天爱| 麻豆AV短剧| 最新日本中文字幕| 欧美亚洲影视| 84YTCOM性无码| 综合网,亚洲,欧美| 日韩三A大片在线观看 | 激情五月天校园春色网| 国产熟女免费观看久久| 欧美 亚洲 另类 综合| 91福利网在线观看| 97 超碰 人人做 人人爱| 夜夜操美女| 宗合情欲网| 涩综合导航| 无码久久亚洲高清,| 99热综合在线| 香伊人在线| 99综合自拍| 久久av一级av少妇av高潮| 大香蕉综合| 在线观看不卡一区二区三区| 久草热制服丝袜在线观看| 日日摸天天爽夜夜欢| 天天综合在线4| 岛国1区2区3区在线观看| 自拍欧美| 操逼网免费无码视频| 黑白配性爱AV成| www.狠狠干.coom| 99re久久| 18+91网站| 亚洲丝袜二区| 国产视频一区二区三区在线免费观看| 欧美人妻另类在线| 亚洲91极品| 凹凸视频在线一区二区| 嗯嗯啊好大| 你懂得91| 国产精品久久天天干| 日韩少妇在线视频| 99色综合| 狠狠中文字幕| 俺也射| 人妻少妇色综合| 亚洲啪啪视频免费| 97日亚洲欧美| 少妇内射www在线观看视频| 免费精品人妻一区二区三| 啊啊啊啊啊舒服| 夜夜操av亚洲一区二区| 天天操狠狠日夜夜干超碰撸com视频在线观看| 97视频在线观看免费高清| 美女露胸露奶头| 成年人黄色小视频网站| 欧美日韩另类激情图片| 超碰无码五月97| 亚洲男人bt天堂| 久久精品欧美一区二区三区不卡| 哈哈操电影| 国产中文福利| 天美av在线观看| 日韩国产成人自拍视频| 免费福利视频中文字幕| 熟妇熟女一区二区三区| 99999这里都精品| 美女黄色一级A视频| 久久无码成人| 老熟女搡BBBB搡BBBB视频| 青青草在线视频播放器| 蜜桃丰满熟妇av无码区不卡| 熟女人妇一区二区三区| 欧美人与动性人交a| 女同性恋中文字幕| 俺也射| 国产精品视频在线播放| 超碰性爱97| 9l视频自拍9l九色成人| 日本欧美亚洲高清在线看| 98人妻精品一区二区色欲| 日韩av电影网站| 97操97色| 国产11页| 九九99久久| 欧美系列在线一区二区| 色牛牛AV| 综合色久| 久99热| 亚洲精品aa久久伊人| 99在线免费公开视频| 9Ⅰ老熟女| 久久女人| 大香蕉伊人75| 欧美激情亚洲| 天美91| 欧美在线啊啊| 91P0RNY大屁股人妻| 啊啊啊操死我| 韩国一级做a久久久久| 蜜臀一区二区三区亚洲最新章节在线观看 - 高清蜜臀一区二区三区亚洲全集播放 | 青草草免费网站av| 国内毛片热久久思思热| 超碰色97| 一级性爱网| 超碰97人妻在线| 搡老熟女免费视频| 日本免费专区| 人人考人人摸人人干| 日本一区二区三区四区免费观看| 色色色热| 爆乳免费黄网站| 在线啊啊啊啊| 1区2区3区中文字幕日韩| AV色天香在线| wwe 天天干.com| 欧美72网页| 国产亚洲精品美女| 东京男人天堂| 中文乱码字幕观看| 亚洲国产欧美一区二区潘金莲 | 澳门成人网站久国产日韩| 激情四射五月天| 清柠毛片| 色 亚洲 91| 四虎精品一区| 丰满人妻区一区二区三| 日韩性爱视频在线免费观看| 久久久无码av精| 日韩亚洲中文字幕在线| 嗯啊不要在线| 天天色怡春院| 97亚洲中文| 日本性交操一区二区不卡系列| 岛国1区2区3区在线观看| 亚洲1区2区三区高清中文字幕| 黄aaaaaaaaaaaaaaaaaa色网站| 99色在线观看| 操学生天天| 亚洲aw毛茸茸在线| 九九九九九九九九九九精品视频| 久久有码视频| 日韩激情啪啪啪| 中文字幕av亚洲在线| 欧美色棕合| 色天堂在线观看| 少妇熟女一区二区三区| 久久精品国产96精品亚洲拳交| 一区二区偷拍拍视频| 欧美久久九九| 超碰97综合网| 91性高朝久久久久久久久| 国产久久av| 激情专区综合| 一区二三区四区视频大全套| 国产偷人伦激情在线观看| 精品一区二区人妖| 99综合| 久久久久密臀视频| 国产精品麻豆成人av| 人妻22p| 欧美日韩亚洲电影| 乱伦一二三区| 亚洲欧洲视频小说在线观看| 97超碰国产亚洲精品| 久热精品在线国产| 久久久久9999| 青青草原伊人网| 岛国A V在线免费看| 黑人精品成人一区二区三区| 九九亚洲精品| 激情小说图片亚洲首页| 色性综合| 女优大全 - 91n| 人人摸人人干人人拍97| 麻豆成人av| 东京热一区二区中文字幕| 国产无套粉嫩白浆在| 偷拍新久久| 大香焦A片| 亚洲欧美九九| 亚洲91在线| 五月天激情四射| 久久国产精品视频| 99热最新网址| 亚州欧美另类| 欧美亚洲丝袜人妻制服99| 9999九九九久久久| 97视频在线免费观看| 五月丁香激情综合| 密臀国产在线| 午夜黄色免费在线观看| 精品美女少妇一区二区三区| 蜜乳AV免费观看| 色狠狠综合噜一二三区| 天天草夜夜草高潮片| 成人色女网| 欧美大波激情xxxx| 日日A∨| 国产成人自拍视频视频| 超碰97久久国| 欧美日韩性爱操大逼| 嗯嗯啊啊用力视频免费| 色欲三区| julia ann久久| 欧美国产伊人久久久久| 精品免费囯产一区二区三区| 色色色色色色色色色色色色色色综合| 我要色综合网| 老熟女熟妇| 手机看片日韩人妻| 老师充足的奶水小说| 操操操五月天婷婷丁香影院| 中文字幕久久精品一区| 国产强奸91| 天堂伊人久久| 无码国产精品午夜不卡(| 91爱啪| 99操| 欧美综合站| 国产午夜福利专区综合| av线电影| 91美女中出| 99久久无码| 夜夜综合| 高清无码网址| 亚洲黄网在哪免费看| 亚洲男人天堂2017| 夜草欧美| 99热91| 亚洲伊人久久综合97| 欧美亚洲厕所精品偷拍91| 被体育老师抱着c到高潮| 欧美第二页| 高潮综合网| 蜜桃视频成a人v在线| 中韩中文字幕在线观看| 97超碰资源网| 美女被艹尤物视频| 后入式免费视频| 中文字幕55555| 国产精品久久成人免费| 欧美少妇色图| 久久精品无码不卡| 91jk色拍| 天天干,天天日| 婷婷丁香五月激情啪啪| 天天躁日日躁狠狠狠躁| 天天日老熟妇| 在线无码操| 呦呦一区| 蜜臀网址在线| 天天综和| 精品妇女一区二区三区| 欧美日韩性爱视屏免费看了| 91亚洲色人| 试看60秒 爽| 330dv亚洲成年视频网| 91人妻爽爽人人做人人澡| 亚洲欧洲综合成人av一区| 亚洲丝袜少妇在线| 91痴汉| 亚洲黄片免费在线播放| 欧美九九九| 美日韩一二三区| 人妻嗯啊啊在线播放| 欧美成人性爱视频免费观看| 水多多映视AV| 亚洲男人天堂av| 97欧美日韩精品| 色综合99999| 好吊色一区| 亚州精人品大香蕉| 久久人妻精品| 亚洲日产专区| 国产亚洲在线观看| 秋霞视频一区二区| 中文字幕免费看大片| 男女激烈网站最新| 国产亚洲精品A在线观看下载| 欧美78P| 大香蕉中文网| 嫩草91| 18啪啪手机免费性爱| 无套后入双马尾| 超碰久久.com| 国产欧美后入| 亚洲午夜蜜臀| 十八禁电影伊人网| 亚洲精品1区| 在线一区| 久久久内射良家| 校园春色宗合网| 美日韩一二三区| 蜜臀99999| 欧美天堂超碰97| 日韩紧密久久| 男人的天堂亚洲| 日韩另类色图| 国产老熟女| 长长久久免费视频| 欧美老熟另类| 日本高清加勒比| 91老熟女老女人国产老太| 国厂麻豆77q4| 啊嗯好大视频在线观看| 蜜臀99999| 国产妇女精品视频青青草| baiduhicn.com。| 中文字幕人乱码中文字的预防方法 | 亚洲欧洲视频小说在线观看| 麻豆伊人网| 91少妇通奸网站| 少妇大屁屁| 亚洲天堂男人天堂网| 亚洲一区二区在线观看91| 免费99精品国产自在在线| 牛牛久久国产精品视频一二三| 亚洲涩涩| 久夜操| 搡老女人911熟妇老熟女| 丁香九月婷婷| blacked精品一区国产| 极品尤物在线观看| 密臀在线免费观看| 丰满少妇一区二区三区专区| 久久少妇人妻| 久久精品久| 欧美国产欧美在线观看| 久久av成人无码免费| 郑州宾馆老熟女露脸啪啪| 蜜桃臀一区二区三区久久| 91人妻丝袜无码| 91影库| 婷婷AV一区二区三区| 尤物黄色在线观看网站| 色综合久| 福利风月五月天影院| 夜夜操av亚洲一区二区| 97色色国产视频| 神马久久久久久久久| 欧美色图20p| 日韩精品中文字幕一| 亚欧高清在线| 国产熟女一区二区丰满| 欧美偷偷网| 亚洲欧美国产中文视频| 欧美日韩第一页| 91在线美女| 午夜精品久久久久久久| 羞涩视频| 久热无码| 97视频在线视频| 综合色91| 亚洲欧美国产其他二区| 日韩欧美麻豆大片| 丰满人妻-区二区三区免费看 | 国产精品久久久久久久久久梁医生| 18禁在线视频| 天天添天天干电影| 久操视频这里只有精品| 色狠狠 - 百度| 天天综合91在线| 女人18精品一区二区三区| 久久精品国产亚洲AV高清演员表| 亚洲欧洲美腿丝袜| 97亚洲中文| 日韩亚洲Av人人夜夜澡人人爽| 91在线视频免费中出| 黑人在线91| 日本性爱少妇| 大香蕉啪啪啪啪在线| 国产h小视频在线观看免费| 人人透人人操| 美腿色图| 一级性爱视频免费观看 | 少妇天堂| 91九九| 久99在线免费观看视频| 久久伊人大香蕉| 第45页一区二区| 国产女同在线观看视频| 精品国产乱码久久久久久影片| 女人香蕉久久毛毛片精品| 97摸视频| 97久久久网站| 好吊色在线观看| 久9久9久9久9久9久9| 99久久精品无码一区二区| 色麻豆AV| 自拍偷拍2025在线观看| 久久久精品九| 日本超碰在线国产一区| 天天舔天天日天天射| 日韩免费高清大片在线| 亚洲人妖网| 精品人体无圣光凹凸| 99久久com免费视频′| 亚洲欧美综合| 黄色污污污污污污网站| 抽插一区二区视频| 男人天堂2019亚洲| 国产一区二区三区高清视频| 国产不卡中文字幕免费avi| 亚洲欧美一区二区网址| 久久久111| 久久久国产成人一区二区三区在线| 职场同事知名国产国产精品久久欧美日韩 | 亚洲欧美一区二区网址| 蜜臀在线免费观看在线免费观看| 国产日韩精品人妻久久久久色欲网站| 2017天天透天天通天天擦| 四虎国产精品永久地址入口| 亚洲欧洲第二视频在线观看色图| 亚洲女毛多水多21P| 久久久久熟女| 久久久久久午夜男人的天堂| 日韩极品无码B| 国产乱弄免费在线视频。| 国产一区二区三区导航| 精品乱码在线观看| 亚洲黄色影视| 素人一区二区三区日韩| 深夜激情| 操逼内射干逼白丝91| 美女一区二区国产精品| 老熟女综合网| 久久熟妇五十路一区| 国产免费操逼| 亚欧色图在线激情| 91熟女视频网| 91扒丝袜综合在线| 日本网色| 国产精品久久久| 五月开心久久AV官网| 午夜操逼不卡| 日韩欧美麻豆 | 91操熟女视频 | 国产传媒日韩| 欧洲一区二区| 精品美女少妇一区二区三区| 色噜噜综合在线| 日韩av一级黄片| 天天日夜干| 国产天天骚| 91麻豆va国产精品| 午夜福利在线合集| 思思热在线视频免费| 亚洲中文sv| 欧美熟妇亚洲版| 无码聚合| 日本αv| 国产视频第二页| 玖玖爱伊人玖玖爱| 久久亚洲骚逼综合| 色九月| 天天色综亚洲91污| 欧美性爱1080p| 2018天天日天天日| 神马麻豆福利院 | 丁香五月天激情| 国产福利在线视频网站| 日韩福利综合一区| 日韩欧美亚欧在线视频| 人妻夜爽夜夜爽| 校园春色欧美| 久久精品亚洲婷婷| 又大又黄国产| 熟妇熟女亚洲天堂网| 青娱乐亚洲自拍| 日韩性爱免费观看视频| 夜夜草天天| 男啪女色黄无遮挡免费观看| 久久69| 人妻欧美| 噜噜噜亚洲精| 久久人妻少妇| 91精品电影18| 97激情97激情| 啊啊啊不要啊啊受不了了视频在线 | 老熟妇综合| 亚洲 欧美 中文 日韩超碰| 久久久久久国产精品免费网站 | 国产天天看| 亚洲人妻熟妇三十三区| 欧美精品 - 91爱爱| 亚洲高清内射| 人妻天天夜夜爽一区二区| 无码av永久免费专区网站| 亚洲精品无码成人久久久99| 黄色操人| 久久精品国产亚洲妲己影视| 巨爆乳一区二区爆乳区| 国产91av在线播放| 精品久久久久av影院| 大黄片做爱的大的| 一级啊性爱在线视频| 国产精品久久久久久照片| 亚洲久久天堂| 欧美成人亚洲精品| 欧州一区二区三区四区| 日本道人妻久久久在线不卡色视频| 情色五月天网| 青青草一本道福利视频| 男人天堂网址| 性暴力欧美猛交在线直播| 在线国产福利网址导航| 啪啪啪综合网| 人妻少妇色综合| 欧美性生活综合| 天天干天天做| 女生自91网站| 欧美黑人与女人91| 78久久| 性爱乱伦视频免费| 久久老子无码午夜伦不卡| 黑操B| 99re在线观看| 色五月综合网| 偷拍超碰| 人人澡人人澡人人| 国产亚洲色婷婷久久99精品91 - 百度| 无码精品久久| 91久久久久久久| 性欧美天天| 久久大线蕉一区| 色网亚洲人| 成人性爱免费播放| 亚洲国产无码精品首页久久久| 日本久操视频| 精品久操| 老熟女乱伦一区| 91在线无码精品秘 软件| 九九碰九九爱97超碰| 啊啊好多水| 日韩性色| 无码免费精品高清| 另类综合另类| 欧美激情 亚洲色图| 久操操AV电影| 亚州伊人色综台| 久久AV无码1区2区3区| 丝袜美腿丝袜| 91动漫操逼视频| 日本久久久久久久久| 舔人妻中文免费视频| 日本性交操一区二区不卡系列| 婷婷啪啪| 色99久草| 强奸乱伦Av网| 啊啊啊啊啊好大好舒服想要| 99re免费| 国产亚洲一黄| 97资源站日韩| 青青草天天亲夜夜操网| 中文字幕高清精品一区| 777奇米影视777四色| 草蕉影视亚洲无码| 欧州一区二区三区四区| 97超碰国产精品| 中文熟女五十乱码在线| 久久成年片色大黄全免费网站| 婷婷五月天AV| 欧美天堂亚洲电影院一区在线播放| 日韩精品中文字幕人妻| 国产原创精品| 久久产精品一区二区三区电影| 狠狠穞A片一區二區三區| 久久精品一区一起草| 多毛小伙内射老太婆 | 亚洲好色人妻| 在线 欧美 亚洲| 精品人妻久久久久一区二区三区| 中文字幕第2页| 羞涩视频| 91碰超| 激情专区综合| 久久久久9久久久久| 精品人妻一区二区免费蜜桃| 欧美 亚洲 91| 亚洲性天堂| 97在线日韩中文字幕| 热热色91| 成人七区| 夜夜操2028| A啊啊在线观看| 日本精品一区二区三| 欧美成人国产精品| 久久97精品久久久久久久不卡| 欧美精品三级黄片| 激情综合二| 日韩精品99999| 精品区9| 97在线无精品 | www..com操老师| 99ri精品| 中出789在线视频| 天天碰久久入| 一区二区精品日韩欧美在线观看 | 亚洲欧美色综合| 熟妇一区,二区,三区。| a片自拍直播视频| 五十路六十路七十路熟婆| 亚洲福利中文字幕在线| 色91综合网| 亚洲综合色图欧美| 国产亚洲精品久久久久小| 久久五月视频| 亚洲日韩青青草色月| 亚洲图片视频小说| 亚洲一区二区三区中文字幕| 亚州色交| 久久久无码精品人妻二区| 日本成人免费一区二区三区| 激情五月天综合网| 欧美亚洲高清晰| 秋霞成人做爱| 歐美一級亂黃99在綫精品| 国产精选视频| 欧美性爱视频免费一区一A| 九九久久一区二区三区| 91久| 亚洲五月婷婷| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 2020天天色综合| 欧美熟妇乱码在线一区| 国产激情在线| 人人看黄色视频| 极品出轨视频网站| 青久操| 五月天婷婷色| 日韩色欲久久一二三四区| 久9九综合在线| 日日日大屁股骚女人精品| 精品一区二区三区蜜桃臀赵总 | 中文字幕免费看| 青青草在线视频人人想人人上| 久久久久久久亚洲Av无码| 亚州综合色| 久久噜噜噜精品国产亚洲综合| 高树玛利亚无码流出| 成人网址在线观看| 日本成人A片免费看| 试看60秒 爽| 亚洲97资源| 欧美日韩青操| 久久综合精品一区二区三区| 中文字幕日韩综合| 国产一区二区视频在线播放| 国产精品。| 一级二级在线观看| 欧美日韩资源在线| 午夜精品久久久久久久久久蜜桃 | 新怡红院| 日本高清电影欧美色图| 91高清欧美| 伊人AAA| 男人在线天堂| 97干天天| 国产强奸超碰AV| 在线二区不卡| 亚洲aw毛茸茸在线| 交换娇妻呻吟声不停中文字幕| 男人精品天堂一区| 99久在线精品99re8| 色妇综合网| 欧美在线色图| 把腿张开老子CAO烂你| 欧美色图自拍| 日韩人体偷拍| 精品一区二区在线针对华人免费观看这里只有精品免费观看 | 天天淫人人妻日日色| 国产丝袜美女在线一区| 加勒比五月天| 伊人五月天激情| 97亚洲色图| 欧美性,亚州色| 在线观看黄色电话| 国产91影院| 亚洲麻豆18发?| 性爱动态120秒| 日韩无码a片| 操一对老熟妇爽上天视频| 暖暖精品二区三区观看| 久草网站免费在线观看| 国产三级中文字幕粉嫩| 久极品在线观看| 日韩一区二区三区四区五区| 一区二区影视| 色欲色香天天天综合网www-亚洲综合国| 午夜福利视频在线一区| 神马久久久久久| 天欧美在线| 91人人看| 亚洲操逼网| 欧美日日操| 无码人妻精品酒店| 人妻 欧美亚洲| 欧美天堂日韩三级国产传媒| 国产久久久久久久久一区二区 | 懂色AV一区二区三区| 日韩性爱1级片视频| 久久伊人影院| 精品人妻一区二区乱码一区二区| 色色五月天婷婷| 日本天天操| 99精品国产户外露出| 亚洲久久天堂| 欧美韩日精品资源| 一区二区三区国产精产| 日日夜夜狠狠| 亚洲精品aa久久伊人| 无码久久亚洲高清,| 日本三级精品| 丝袜色综合| 天天做天天爱天天爽AV| 日韩在线76| av资源在线观看少妇| 午夜AV人气不卡| 强被迫伦姧在线观看无码网站| 欧美成人贴图| 91美女高潮| 九九九九精品一区| 亚州久久9| 亚洲AO在线| 亚洲免费精品一区| 人妻天天操天天爽视频免费| 五月丁香啪啪网| 国产小u女在线观看| 九色精品视频导航1| 亚洲男人综合| 欧美不卡在线一区二区| 国产 日韩 欧美一区| 中文字幕后石码四区五区| 日本精品一区二区不卡| 高颜值美女口爆高潮浪叫| 热热色综合网| 久超碰这里只有精品| 成人精品欧洲亚洲| 黄色一区三区| 精品二区三四区五电影 | 国产精品极品美女视频| AAAAAAAAA黄片| 日本性爰一道本| 人人摸人人干人人拍97| 超碰在线人妻中文字幕| 麻豆国产视频精品观看| 嫩呦国产一区二区三区AV| 97网色| 久久九色| 精品久久无码午夜福利| 久久久久久亚洲中文| 成人七区| 激情五月天社区| 久久伊人大香蕉| 中文字幕二区日韩天堂| 淫色网综合| 麻豆一区在线| 日韩有码回春沙龙第一页| 亚洲色欧| 香蕉精品二区二区| 欧美激情综合| 高清无码在线播放网站| 丝袜美腿制服人妻二区中文字幕| 爱做久久久久久| 日韩成人精品中文字幕| 第四色色综合91| 欧美少妇性乱| 人妻丰满熟妇av无码区蜜桃| …亚洲黄色厕厕女女在线播…| 日本在线观看网址| 亚洲成人久久一区二区| 亚洲欧洲另类| 亚洲色图 欧美热图 清纯唯美 另类自拍 | 91日日| 后入日本1234| 国产精品白领在线观看| 亚洲人妻中文在线视频| 欧美劲爆视频一区二区| 色噜噜狠狠色综合日日| 秋霞男人网| 久久一二三四五六七八九区| 玖玖爱影院| 一级aaaaa欧美中文字幕录像片| 色婷久久| 久久久久ab| 国产精品乱码久久久| 国产日韩欧美操逼视频| 伊人AAA| 加勒比东京热五月天天堂网| 国产综合久久久麻桃个 | 密臀视频一区二区三区| 97Ai亚洲| 国产传媒午夜理伦精品| 中文字幕在线24| 少妇特黄一区二区三区| 一个色导综合| 人妻天天夜夜爽一区二区| 在线97在线| 97色色色| 久久国内| 中文字幕乱碼在线| 天天干18禁| 亚洲AV无码国产精品久久久久 | av天堂影视中文在字幕在线中文 | 国产精品蜜乳AV| 久久的网站啊啊啊啊啊| 综合亚州欧美| 欧美人妻精品一区二区| 色五月亚洲| 欧美日韩美女精品久草一区二区三区| 麻豆三极片| 欧亚综合一卡二卡中文字幕| 97精品全部| 国产精品无套内谢| 久久做97| 欧美一级黄色免费专区| 98一区二区精品| 天天久久久久久| 美女国产一区二区久久 | 国内精品久久人妻性色av| 五月丁香网站| 男人的天堂com| 天天天天天天天天天天干美女| 少妇人妻精品| CCYY草草影院地址入口| 97操97色| 天天噜| 国产原创自拍| 人妻天堂网| 亚洲熟女av日韩熟女| 一二三卡欧美日韩人妻免费精品| 超碰在线香蕉| 大香蕉琪琪日本女优不卡| 日本人妻中文字幕| 欧美aⅴ99久久黑人专区| 伊人网青青| 欧美熟妇乱码在线一区| 91综合色噜噜| 嗯嗯嗯啊啊啊操的我好爽| 99久久无码| 国产精品网站www| 国产一区二区三区白丝| 97精品综合久久网| 国产AV毛片| 亚洲女人毛茸茸91| 日韩不卡av一二三| 中文字幕一区二区三区四五区| 伊人色综合网电影| 亚洲午夜蜜臀| 色婷婷久久| 综合网91| 天天碰操中国年青熟妇| 欧美aa一级片| yazhouzaixian| 久热99| 欧美国产精品久久九九| 亚洲网自拍| 五月丁香拍拍激情综合三级| 天天性射网| 日韩天美| 欧美日韩另类在线播放| 99精品在线播放| 曰韩精品视频一区二区| 啊啊啊啊啊啊啊国| 97福利视频| 国产三级日产三级韩国三级 | 国产精品自在线发布| 国产中文字幕在线观看| 五月婷婷激情网| 囯产精品久久久久久久久久梁医生| 久偷拍| 五月丁香啪啪| 国产高清免费不卡av| 国产农村妇女毛片精品久久| 国产美女激情| 全球成人中文在线| 人妻少妇久久中文字幕一区二区 麻豆| 97色色,97综合| 丁香五月天堂网| 天天艹天天日| 人人操人人摸人人骑| 亚洲AV色图一区| 蜜臀亚洲中文| 99热日本| 日本视频在线观看污污污| 久久精品一区二区一8| 97伦乱| 综合天天网| 亚洲精品一区二区三区新线路| 亚洲一本大道中文字幕无码在线| www.亚洲黄色| 91一区二匹| 久久日韩肥臀| 国产九九九九九九| 另类视频在线| 91精品人妻一区二区-全集完整版免费正片国语-B02AV | 日韩猛交| 超碰在线1234区| 欧美午夜视频| 五月婷婷hd| 激情四射婷婷四五月天| 天天综合精品| 久久久久9| 色噜噜人妻丝袜a∨先锋影 | 中文幕97| 色九九九九| 乱码熟妇人妻久久久| 亚洲国产欧美日韩人妻日中文| 久久丁香五月婷婷| 久久这里只精品99re66图| 综合操逼| 探花熟女,姿勢到位,體驗感也到位| 老司机深夜18禁污污网站| 国产在线综合网| 日韩欧美性爱电影在线观看| 九九无码| 99久久无码| 青娱乐999| 精品日韩人妻视频| 强奸乱伦 亚洲一区| 99亚洲国产精品色一区二区三区| 欧美组图日韩亚洲中文字幕| 精品九九| 中文字幕第9页萱萱影音先锋| 少妇久久| 人人性爱视频免费| 日韩有码 一区二区三区| 久久久久亚洲熟妇熟女| 操www| 最新中文字幕精品在线| 久久久免费一级黄片| 色色色色电影网| 亚洲色五月| 久久最新免费视频23| 久久色一区| 久久男人网| 91性| 夜夜黄| 超碰91在线| 黄色香蕉视频网站一区| 上海一级黄片| 国产精品秘 福利姬在线观看| 激情深爱五月天| 男人天堂站| 亚洲 综合 第一页| 强乱老妇中文字幕| 国产中出内射一区二区| 在线观看成人性爱免费小视频| 福利伊人玖玖国产| 狠狠狠狠狠| 69视频福利导航| 中文字幕精品亚洲熟女| 国产精品播放| 18禁免费视频| 久热伊人| 色欲人妻一区二区在线| 欧美人妻熟女在线| site:sinbotex.com| 性爱视频无打码在线观看| 亚洲经典啪啪| 91嫩草欧美| 97色欧洲| 一起草欧美| 人人摸人人干| 蜜臀亚洲综合一二三四区| 中国熟妇| 国产一级不卡在线观看| 性吧在线视频| 亚洲超碰综合网| 香蕉视频欧美一卡二卡| 欧美色性爱| 国产精品久久久久久夜夜夜| 久久久久幕乱码| 秋霞操逼片| 国产 码在线成人网站| 久久久久ab| 不卡日本一区二区| 入口操逼网站| 佐山爱中文字幕| 自拍六区| 果冻国产精品麻豆成人av| 91色综合激情| 亚洲女人91| 久久久无码av精| 欧美三级免费伊人| 激情在线青青操| 强奸乱伦大香蕉网| 97色色国产视频| 久久超碰97| 亚洲中文字幕av| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 午夜精品久久久久| 日本精品五区| 五月丁香婷婷色| 日韩中文字幕精品一二三事国产精品| 天天射天天操天天干天天吃2018 | 97国产精品久久久久 | 国产 大胆 对白| 一区二区三区免费视频入口 | J?P?NESEHD熟女熟妇伦| 亚洲国产第一页综合视频| 97超碰影音| 日本一区二区中文字幕久久| 91亚·色| 亚洲图片日本AⅤ欧美在线| 亚洲综合69| 激情六月婷婷| 亚洲欧洲日本精品中文a∨| 欧美日韩国产人人| 99热色精品| 国内毛片热久久思思热| 爱妻综合网| 操久久久久久| 久久久亚洲Av| 96国产精品| 人人色人人射人人妻| 亚洲精品无码久久AV| 超碰久超碰久| 亚洲中文字幕日产无码久久| 国产视频不卡在线观看| 欧美97爱| 欧美激色| 久久综合18p| 国产极品美女高潮无套在线观看 | 日本熟妇色熟妇在线视频播放| 大香蕉520| 老外又粗又长一晚做五次| 日本 情色 1区2区3区| 亚洲青青青视频在线| 色欲蜜臀AV| 欧美色图综合| 久久久9 9 9精品| 亚洲综合另类欧美久久久| 婷婷中文网| 国产成人超碰在线| 欧美最婬乱婬爆婬牲视频| 欧美性战999| www.激情| 一级黄色视频网| 青草视频在线看看看看看看看看看| 精品视频一区二区| 精品久久久久成人码免| 国产13区| 九九热超碰| 亚洲无吗在线视频| 日本淫乱女一区二区三区视频| 超碰视97中文| 男女91| 狠狠久久亚洲欧美专区| 久草网站免费在线观看| 囯产精品久久久久久久久久梁医生| 女上位精品在线| 有码色中文字幕在线观看| 天天爽天天操| 欧美大香蕉专区网| 内射小黄片| 好吊色综合| 9久9久| 欧美色图人妻| 97色色国产视频| 手机av天堂久久久久| 亚洲日本韩国在线| 国产AV无码AV| 成人乱人伦一区二区| 中文字幕天堂在线| 校园春色五月天| 精品国产99999| 四虎精品一区| 国产精品丝袜久久亚洲不卡| 欧美亚洲第1页| www.狠狠干.coom | 九九热超碰97亚洲最新香蕉| 久久久久成人蜜桃精品| 97啪啪| 啊视频在线| 免费A V在线| 亚洲成?V人片在线观看福利| 五月天丁香婷婷综合网站| 四虎国产精品永久地址入口| 日韩免费三级黄片电影| 日韩免费簧片| 人人操人人爽人人操人人| 神马久久久久久| 精品免费一区| 日本一区二区中文字幕久久| 亚洲欧洲激情卡通另类文学四射小说网站| 欧美色图99| 好湿好紧视频| 少妇三p| 色香欲综合| 97人人干| 免费AV播放| 成功精品影院| 久久久精品日本一道| 欧美不卡在线美女| 99久久com免费视频′| 亚洲中文字幕有码视频一区二区三区| 天天操av懂色| 春色校园综合网| 国产精品网站免费| 青青草字幕AV| 国产久久久久影院老熟女| 色香欲天天天天综合色| 啊啊啊操死我了| 久久久久久久久久久久色网| 97chaopengongkai| 搡老女人老91妇女老熟女| 国产性爱强奸乱伦大全| 丁香五六月啪啪| 免费一级特黄特色大片在线观看看 | 91亚洲综合在线| 91香蕉国产尤物视频| 強姦亂倫a| 操逼视频亚洲| 97人人干| 青青草吊丝| 日韩精品9区| yazhououmeizongya| 97超碰人妻| 欧美探花网| 强奸a片网| 97精品国产97久久久久久户外免费| 国产传媒日本欧美专区| 91爆操视频| 操逼视频色| 东北丰满熟女国产一区| 亚洲AV无码AV吞精久久久久| 韩日性爱av| 久久久久久国产无码精品| 天天做日日做天天欢。| 国产一区二区欧美日本| 亚洲综合中文字幕有码| 视频二区美腿丝袜制服人妻欧美| 国产9区| 精品久久久久久中文| 亚洲综合激情五月久久| 99re69| 蜜臀久久99精品久久久久电影| 天天射夜夜操|