Mish 算子 API 描述【免费下载链接】cann-bench评测AI在处理CANN领域代码任务的能力涵盖算子生成、算子优化等领域支撑模型选型、训练效果评估统一量化评估标准识别Agent能力短板构建CANN领域评测平台推动AI能力在CANN领域的持续演进。项目地址: https://gitcode.com/cann/cann-bench1. 算子简介Mish 是一种自正则化的非单调神经网络激活函数具有平滑、非单调的特性在部分场景下性能优于 ReLU 和 Swish。主要应用场景YOLOv4/v5 等目标检测模型的激活层深层卷积网络中替代 ReLU 的激活函数需要平滑梯度的深度学习模型算子特征难度等级L1Elementwise单输入单输出逐元素运算输出 shape 与输入完全一致支持 0~8 维输入2. 算子定义数学公式$$ y x \cdot \tanh(\text{softplus}(x)) x \cdot \tanh(\ln(1 e^x)) $$特殊情况输入输出x 0y 0x → ∞y → x趋近恒等x → -∞y → 03. 接口规范算子原型cann_bench.mish(Tensor x) - Tensor y输入参数说明参数类型默认值描述xTensor必选输入张量支持 0~8 维输出参数Shapedtype描述y与输入 x 相同与输入 x 相同Mish 激活结果数据类型输入 dtype输出 dtypefloat16float16float32float32bfloat16bfloat16规则与约束输出 shape 与输入 shape 完全一致输出 dtype 与输入 dtype 一致无额外属性参数4. 精度要求采用生态算子精度标准进行验证。误差指标平均相对误差MERE采样点中相对误差平均值$$ \text{MERE} \text{avg}(\frac{\text{abs}(actual - golden)}{\text{abs}(golden)\text{1e-7}}) $$最大相对误差MARE采样点中相对误差最大值$$ \text{MARE} \max(\frac{\text{abs}(actual - golden)}{\text{abs}(golden)\text{1e-7}}) $$通过标准数据类型FLOAT16BFLOAT16FLOAT32HiFLOAT32FLOAT8 E4M3FLOAT8 E5M2通过阈值(Threshold)2^-102^-72^-132^-112^-32^-2当平均相对误差 MERE Threshold最大相对误差 MARE 10 * Threshold 时判定为通过。5. 标准 Golden 代码import torch def mish( x: torch.Tensor ) - torch.Tensor: 自正则化的非单调神经网络激活函数 公式: y x * tanh(softplus(x)) Args: x: 输入张量 Returns: 输出张量Mish激活结果 softplus torch.nn.functional.softplus(x) y x * torch.tanh(softplus) return y6. 额外信息算子调用示例import torch import cann_bench x torch.randn(1024, 1024, dtypetorch.float32, devicenpu) y cann_bench.mish(x)【免费下载链接】cann-bench评测AI在处理CANN领域代码任务的能力涵盖算子生成、算子优化等领域支撑模型选型、训练效果评估统一量化评估标准识别Agent能力短板构建CANN领域评测平台推动AI能力在CANN领域的持续演进。项目地址: https://gitcode.com/cann/cann-bench创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考