第五期论文复现赛DMNet，DMNet适用于语义分割任务，本次复现的目标是Cityscapes 验证集miou 79.64%，复现的miou79.76%，该算法已被PaddleSeg合入。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

【论文复现赛】DMNet：Dynamic Multi-scale Filters for Semantic Segmentation

本文提出了动态卷积模块(Dynamic Convolutional Modules)，该模块可以利用上下文信息生成不同大小的卷积核，自适应地学习图片的语义信息。该模型在Cityscapes验证集上mIOU为79.64%，本次复现的mIOU为79.76%，该算法已被PaddleSeg收录。

代码参考：https://github.com/open-mmlab/mmsegmentation/tree/master/configs/dmnet
本项目地址：https://github.com/justld/DMNet_paddle

一、模型结构

如上图所示，输入图片经过CNN（backbone网络）后，得到Feature Map，接着将Feature Map送入DCM模块，不同的DCM模块有着不同大小的卷积核，对应的感受野也不同，将特征图concat后送入语义分割head进行像素级分割。

二、DCM（Dynamic Convolutional Modules）

上图为DCM模块，该模块有2个分支：
分支一：使用1x1的卷积核压缩特征图的通道，得到fk(x)；
分支二（Context-aware filters）：对特征图进行平均池化，得到不同大小的特征图；
得到2个分支的特征图后，把分支二的特征图作为卷积核，和分支一的特征图进行深度可分离卷积运算，再经过1x1的卷积得到DCM的输出。（该模块的核心在于通过Adaptive Pooling得到不同大小的卷积核）

三、滤波器对比

上图为不同的滤波器对比，为了使模型自适应学习适合的卷积核，Inception采用了多卷积通道（每个通道卷积核大小不同）融合的方法，ASPP采用了多空洞卷积通道（每个通道卷积核的Dilation不同）融合的方法，而DCM利用AdaptivePooling来生成卷积核，该方法能够更好的利用上下文信息。

美图云修

商业级AI影像处理工具

50 查看详情

四、实验结果

DMNet在PASCAL和ADE20K数据集上都获得了SOTA效果，在PASCAL验证集上的mIOU为54.4%，ADE20K验证集上的mIOU为45.5%。

五、滤波器实验对比

上图为采用了Inception、ASPP和DCM的分割结果对比，从上图可以看出，受益于DCM的滤波器生成策略，DCM能够更好的利用上下文信息来提升语义分割效果。

六、核心代码

class DCM(nn.Layer):
    """
    Dynamic Convolutional Module used in DMNet.

    Args:
        filter_size (int): The filter size of generated convolution kernel used in Dynamic Convolutional Module.
        fusion (bool): Add one conv to fuse DCM output feature.
        in_channels (int): Input channels.
        channels (int): Channels after modules, before conv_seg.
    """
    def __init__(self, filter_size, fusion, in_channels, channels):
        super().__init__()
        self.filter_size = filter_size          # 滤波器尺寸
        self.fusion = fusion                    # 是否在DCM的输出特征图后面加上一个卷积层
        self.channels = channels                # 输出通道数
        
        pad = (self.filter_size - 1) // 2       # 计算pad
        if (self.filter_size - 1) % 2 == 0:
            self.pad = (pad, pad, pad, pad)        else:
            self.pad = (pad + 1, pad, pad + 1, pad)

        self.*g_pool = nn.AdaptiveAvgPool2D(filter_size)  # 通过自适应池化产生filter的权重
        self.filter_gen_conv = nn.Conv2D(in_channels, channels, 1)
        self.input_redu_conv = layers.ConvBNReLU(in_channels, channels, 1)  # 1x1的卷积减少特征图通道

        self.norm = layers.SyncBatchNorm(channels)
        self.act = nn.ReLU()        if self.fusion:
            self.fusion_conv = layers.ConvBNReLU(channels, channels, 1)    def forward(self, x):
        generated_filter = self.filter_gen_conv(
            self.*g_pool(x))        # 分支二：生成滤波器权重
        x = self.input_redu_conv(x)  # 分支一：减少特征图通道
        b, c, h, w = x.shape
        x = x.reshape([1, b * c, h, w])
        generated_filter = generated_filter.reshape(
            [b * c, 1, self.filter_size, self.filter_size])
        
        x = F.pad(x, self.pad, mode='constant', value=0)  
        output = F.conv2d(x, weight=generated_filter, groups=b * c)  # 深度可分离卷积
        output = output.reshape([b, self.channels, h, w])
        output = self.norm(output)
        output = self.act(output)        if self.fusion:
            output = self.fusion_conv(output)        return output

七、DMNet在线体验

运行以下代码，体验DMNet训练、验证和预测。

step 1: 解压cityscape数据集

step 2: 训练DMNet（本模型复现环境是Tesla V100 * 4，想要完整的训练出复现结果请移步脚本任务）

step 3: 测试DMNet在验证集的效果（这里给出个训练过程中最好的权重验证结果，对应的日志和vdl可视化文件在log和output目录下）

In [ ]

# step 1: 解压数据%cd ~/data/data64550
!tar -xf cityscapes.tar
%cd ~/

In [ ]

# step 2: 模型训练%cd ~/DMNet_paddle/
!python train.py --config configs/dmnet/dmnet_cityscapes_1024x512_100k.yml --num_workers 4 --do_eval --use_vdl --log_iter 20 --s*e_interval 2000

In [ ]

# step 3: 模型验证--此处给出了在Tesla V100 * 4环境下训练出的模型权重%cd ~/DMNet_paddle/
!python val.py --config configs/dmnet/dmnet_cityscapes_1024x512_100k.yml --model_path output/best_model/model.pdparams

八、复现结果

本次论文复现赛要求是Cityscapes 验证集mIOU达到79.64%，本次复现的结果为mIOU 79.67%。
环境：
paddlepaddle==2.2.0
Tesla v100 * 4

Model	Backbone	Resolution	Training Iters	mIoU	mIoU (flip)	mIoU (ms+flip)	Links
DMNet	ResNet101_vd	1024x512	80000	79.67%	80.11%	80.56%	model | log | vdl
DMNet	ResNet101_vd	1024x512	80000	79.88%	-	-	-

九、复现经验

1、如果复现的精度未达到要求，且差距不大，可以尝试增加训练次数（第一次80k训练精度只有79.35%，后来训练100k达到79.88%达到验收标准，最后PR时再训练80K达到79.67%，miou变化是因为未固定随机数种子）；
2、为了tipc方便，最好先验证模型能否正常动转静导出再训练（有些代码在动转静导出时会出错，最好先调试导出功能再训练，节省复现时间）；
3、优先使用PaddleSeg框架复现论文，可以节省大量的时间，同时能够再PR时提高效率。

以上就是【第五期论文复现赛-语义分割】DMNet的详细内容，更多请关注其它相关文章！

# git  # python  # 图为  # 采用了  # 美图  # 一言  # 第五期  # 中文网  # fig  # igs  # red  # ai  # seo结课报告  # 霍尔果斯营销推广门店  # facebook营销推广提成  # 抖音关键词排名按天计费  # 朔州seo推广哪家好  # 榆林抖音seo怎么赚钱  # 滁州seo推广优化公司  # 微盘推广营销方案  # 企业推广首选乐云seo  # 武汉矩阵seo哪个好点  # 是因为  # 官网  # 已被  # 自适应 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 空调主板单片机怎么拆开  vivo手机爱奇艺怎么投屏到电视操作步骤  光刻机是干什么用的  电动车充电器上的power是什么意思  html怎么使用typescript  苹果16配置参数有哪些  华为的type-c接口是什么接口  手机拍显示屏有条纹怎么去除  苹果16哪些型号好用  如何正确使用固态硬盘  夸克网盘为什么解析错误  typescript接口有什么用  如何通过dos命令  为什么有的夸克带电  喇叭上标的power30w是什么意思  固态硬盘如何消除缓存  J*a数组静态怎么打  单片机程序负数怎么表示  春运抢票用不用取票码  typescript如何开发  如何打开命令提示符  华为如何面对苹果16  什么是泛域名解析  苹果16系统有哪些问题  苹果16系统有哪些缺陷  域名批量查询工具有哪些  选哪个折叠屏手机好用  什么是夸克模组文件格式  vfp 命令窗口如何实现换行  云淡风轻什么意思  43寸电视长宽多少厘米  j*a里数组怎么赋值  5G手机导航怎么旋转  linux如何切换到命令行模式  春运抢票要用抢票软件吗  学typescript需要什么基础么  drawing是什么意思  ai文件里无法找到链接文件怎么解决  为什么进行域名解析  typescript怎么添加css样式  市盈率300是什么意思  夸克缺什么登录不了  冰柜power是什么意思这个黄灯怎么不亮  怎么把手机里爱奇艺的视频下载到u盘里  ao3镜像网站哪个好  夸克文字口令是什么意思  硬盘和固态硬盘如何区分  typescript全局配置放哪里  j*a数组求和怎么算  夸克链信有什么用