^原创目标检测算法——YOLOv5/YOLOv7改进之结合无参注意力SimAM（涨点神器）

2023-03-09 09:56:25Nuyoah阅读量 129

![图片]:(https://img-blog.csdnimg.cn/05ce62b84d3b40b3a12ebbed70b91191.png)

>>>深度学习Tricks，第一时间送达<<<

SimAM：无参数Attention助力分类/检测/分割涨点！！！

（一）前言介绍

论文题目：SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks

论文地址：http://proceedings.mlr.press/v139/yang21o/yang21o.pdf

源代码：https://github.com/ZjjConan/SimAM

1.摘要

本文提出一种概念简单且非常有效的注意力模块。不同于现有的通道/空域注意力模块，该模块无需额外参数为特征图推导出3D注意力权值。具体来说，基于著名的神经科学理论提出优化能量函数以挖掘神经元的重要性。进一步针对该能量函数推导出一种快速解析解并表明：该解析解仅需不超过10行代码即可实现。该模块的另一个优势在于：大部分操作均基于所定义的能量函数选择，避免了过多的结构调整。最后在不同的任务上对所提注意力模块的有效性、灵活性进行验证。

![图片]:(https://img-blog.csdnimg.cn/60226bfe4eef4a42a46109b20642f410.png)

2.不同注意力步骤比较

![图片]:(https://img-blog.csdnimg.cn/21425c6c117c48038cc5f9c6d2d9646f.png)

（二）相关实验

对比其他注意力模型，+SimAM注意力后均表现出优秀的检测效果！！！

![图片]:(https://img-blog.csdnimg.cn/5cb09e53cd3a4675863874fe33c932eb.png)

上表给出了ImageNet数据集上不同注意力机制的性能对比，从中可以看到：

1.所有注意力模块均可以提升基线模型的性能；

2.所提SimAM在ResNet18与ResNet101基线上取得了最佳性能提升；

3.对于ResNet34、ResNet50、ResNeXt50、MobileNetV2，所提SimAM仍可取得与其他注意力相当性能；

4.值得一提的是，所提SimAM并不会引入额外的参数；

5.在推理速度方面，所提SimAM与SE、ECA相当，优于CBAM、SRM。

（三）YOLOv5结合无参注意力SimAM

1.配置.yaml文件

添加方法灵活多变，和CBAM等注意力一样，Backbone或者Neck都可。

2.配置common.py

复制粘贴SimAM相关代码

复制代码

class SimAM(nn.Layer):
    def __init__(self, lamda=1e-5):
        super().__init__()
        self.lamda = lamda
        self.sigmoid = nn.Sigmoid()        

    def forward(self, x):
        b, c, h, w = x.shape
        n = h * w - 1
        mean = paddle.mean(x, axis=[-2,-1], keepdim=True)
        var = paddle.sum(paddle.pow((x - mean), 2), axis=[-2, -1], keepdim=True) / n
        e_t = paddle.pow((x - mean), 2) / (4 * (var + self.lamda)) + 0.5 
        out = self.sigmoid(e_t) * x
        return out

3.修改yolo.py

找到parse_model函数，加入SimAM_Moudle模块即可。具体可参考CBAM注意力方法。

🚀🏆🍀【算法创新&算法训练&论文投稿】相关链接👇👇👇

原创目标检测算法——YOLOv5/YOLOv7改进之结合无参注意力SimAM（涨点神器）

>>>深度学习Tricks，第一时间送达<<<

目录

SimAM：无参数Attention助力分类/检测/分割涨点！！！

（一）前言介绍

论文题目：SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks

论文地址：http://proceedings.mlr.press/v139/yang21o/yang21o.pdf

源代码：https://github.com/ZjjConan/SimAM

1.摘要

2.不同注意力步骤比较

（二）相关实验

（三）YOLOv5结合无参注意力SimAM

1.配置.yaml文件

2.配置common.py

3.修改yolo.py

🚀🏆🍀【算法创新&算法训练&论文投稿】相关链接👇👇👇

✨【YOLO创新算法尝新系列】✨

🏂 美团出品 | YOLOv6 v3.0 is Coming（超越YOLOv7、v8）

🏂 官方正品 | Ultralytics YOLOv8算法来啦（尖端SOTA模型）

------------------------------🌴【重磅干货来袭】🎄------------------------------

🚀一、主干网络改进（持续更新中）🎄🎈

1.目标检测算法------YOLOv5/YOLOv7改进之结合ConvNeXt结构（纯卷积|超越Swin）****

2.目标检测算法------YOLOv5/YOLOv7改进之结合MobileOne结构（高性能骨干|仅需1ms）****

3.目标检测算法------YOLOv5/YOLOv7改进之结合Swin Transformer V2（涨点神器）****

4.目标检测算法------YOLOv5/YOLOv7改进结合BotNet（Transformer）****

5.目标检测算法------YOLOv5/YOLOv7改进之GSConv+Slim Neck（优化成本）****

6.目标检测算法------YOLOv5/YOLOv7改进结合新神经网络算子Involution（CVPR 2021）****

7.目标检测算法------YOLOv7改进|增加小目标检测层****

8.目标检测算法------YOLOv5改进|增加小目标检测层****

🌴 持续更新中......

🚀二、轻量化网络（持续更新中）🎄🎈

1.目标检测算法------YOLOv5/YOLOv7改进之结合​RepVGG（速度飙升）****

2.目标检测算法------YOLOv5/YOLOv7改进之结合​PP-LCNet（轻量级CPU网络）****

3.目标检测算法------YOLOv5/YOLOv7改进之结合轻量化网络MobileNetV3（降参提速）****

4.目标检测算法------YOLOv5/YOLOv7改进|结合轻量型网络ShuffleNetV2****

5.目标检测算法------YOLOv5/YOLOv7改进结合轻量型Ghost模块****

🌴 持续更新中......

🚀三、注意力机制（持续更新中）🎄🎈

1.目标检测算法------YOLOv5改进之结合CBAM注意力机制****

2.目标检测算法------YOLOv7改进之结合CBAM注意力机制****

3.目标检测算法------YOLOv5/YOLOv7之结合CA注意力机制****

4.目标检测算法------YOLOv5/YOLOv7改进之结合ECA注意力机制****

5.目标检测算法------YOLOv5/YOLOv7改进之结合NAMAttention（提升涨点）****

6.目标检测算法------YOLOv5/YOLOv7改进之结合GAMAttention****

7.目标检测算法------YOLOv5/YOLOv7改进之结合无参注意力SimAM（涨点神器）****

8.目标检测算法------YOLOv5/YOLOv7改进之结合Criss-Cross Attention****

9.​目标检测算法------YOLOv5/YOLOv7改进之结合​SOCA（单幅图像超分辨率）****

🌴 持续更新中......

🚀四、检测头部改进（持续更新中）🎄🎈

1.魔改YOLOv5/v7高阶版（魔法搭配+创新组合）------改进之结合解耦头Decoupled_Detect****

2.目标检测算法------YOLOv5/YOLOv7改进结合涨点Trick之ASFF（自适应空间特征融合）****

🌴 持续更新中......

🚀五、空间金字塔池化（持续更新中）🎄🎈

1.目标检测算法------YOLOv5/YOLOv7改进之结合​ASPP（空洞空间卷积池化金字塔）****

2.目标检测算法------YOLOv5/YOLOv7改进之结合特征提取网络RFBNet（涨点明显）****

🌴 持续更新中......

🚀六、损失函数及NMS改进（持续更新中）🎄🎈

1.目标检测算法------YOLOv5/YOLOv7改进|将IOU Loss替换为EIOU Loss****

2.目标检测算法------助力涨点 | YOLOv5改进结合Alpha-IoU****

3.目标检测算法------YOLOv5/YOLOv7改进之结合SIoU****

4.目标检测算法------YOLOv5将NMS替换为DIoU-NMS****

🌴 持续更新中......

🚀七、其他创新改进项目（持续更新中）🎄🎈

1.手把手教你搭建属于自己的PyQt5-YOLOv5目标检测平台（保姆级教程）****

2.YOLO算法改进之结合GradCAM可视化热力图（附详细教程）****

3.目标检测算法------YOLOv5/YOLOv7改进之结合SPD-Conv（低分辨率图像和小目标涨点明显）****

4.目标检测算法------YOLOv5/YOLOv7改进之更换FReLU激活函数****

5.目标检测算法------YOLOv5/YOLOv7改进之结合BiFPN****

🌴 持续更新中......

🚀八、算法训练相关项目（持续更新中）🎄🎈

1.目标检测算法------YOLOv7训练自己的数据集（保姆级教程）****

2.人工智能前沿------玩转OpenAI语音机器人ChatGPT（中文版）****

3.深度学习之语义分割算法（入门学习）****

4.知识经验分享------YOLOv5-6.0训练出错及解决方法（RuntimeError）****

5.目标检测算法------将xml格式转换为YOLOv5格式txt****

6.目标检测算法------YOLOv5/YOLOv7如何改变bbox检测框的粗细大小****

7.人工智能前沿------6款AI绘画生成工具****

8.YOLOv5结合人体姿态估计****

9.超越YOLOv5，0.7M超轻量，又好又快（PP-YOLOE&PP-PicoDet）****

10.目标检测算法------收藏|小目标检测的定义（一）****

^原创目标检测算法——YOLOv5/YOLOv7改进之结合无参注意力SimAM（涨点神器）

1.目标检测算法------YOLOv5/YOLOv7改进之结合RepVGG（速度飙升）****

2.目标检测算法------YOLOv5/YOLOv7改进之结合PP-LCNet（轻量级CPU网络）****

9.目标检测算法------YOLOv5/YOLOv7改进之结合SOCA（单幅图像超分辨率）****

1.目标检测算法------YOLOv5/YOLOv7改进之结合ASPP（空洞空间卷积池化金字塔）****