RS   DL maose

论文先容

题目：CM-UNet: Hybrid CNN-Mamba UNet for Remote Sensing Image Semantic Segmentation

论文：http://arxiv.org/abs/2405.10530

代码：https://github.com/XiaoBuL/CM-UNet

年份：2024

图片maose

立异点

建议了一种新的搀杂架构CM-UNet，该架构团结了CNN和Mamba模子，用于遥感图像的语义分割，通过CNN编码器索要局部特征，期骗Mamba解码器整合全局信息。

CSMamba模块：想象了一个中枢的CSMamba模块，使用通说念和空间宝贵力行动激活条目来增强特征交互和全局-局部信息交融。

多轨范宝贵力团员模块（MSAA）：建议了一个多轨范宝贵力团员模块，归拢不同轨范的特征。

多输出监督机制：在解码器的各个层级引入多输出监督机制，以逐渐生成更精准的语义分割着力。

图片

数据

已收录于公众号的遥感语义分割数据集汇总(拓荒完善中)：

https://github.com/rsdler/Remote-Sensing-Semantic-Segmentation-Dataset

ISPRS Potsdam 数据集

德国波茨坦市的高分辨率航空图像。空间分辨率5 厘米，图像尺寸6000 x 6000 像素。包括6类，分别为：建筑物Buildings、低植被Low vegetation、树木Trees、说念路Roads、汽车Cars、配景Background。数据分别：数据集包括38张图像，其中23张图像用于磨砺(抹杀标注差错的710号图像)，14张图像用于测试。

https://www.isprs.org/education/benchmarks/UrbanSemLab/2d-sem-label-potsdam.aspx

推特 男同

ISPRS Vaihingen 数据集

德国瓦因根市的高分辨率航空图像。空间分辨率9 厘米。包括6类，分别为：建筑物Buildings、低植被Low vegetation、树木Trees、说念路Roads、汽车Cars、配景Background。数据集包括16个图像块，其中12个用于磨砺，4个用于测试。

https://www.isprs.org/education/benchmarks/UrbanSemLab/2d-sem-label-vaihingen.aspx

LoveDA 数据集

LoveDA（Land-cover Domain Adaptive）数据集用于跨界限语义分割任务，包含多种场景下的遥感图像，涵盖农村和城商场景。包括7类，分别为：配景Background、建筑物Buildings、说念路Roads、水域Water、瘠土Barren、丛林Forest、农业用地Agriculture磨砺集包含1156张图像，测试集包含677张图像。

https://codalab.lisn.upsaclay.fr/competitions/421

轨范

总体结构

CM-UNet框架包含三个中枢部分：基于CNN的编码器、MSAA（多轨范宝贵力团员）模块和基于CSMamba的解码器。

图片

CNN编码器

编码器部分使用ResNet索要图像的多头绪特征。ResNet通过其残差知晓机制，灵验捕捉图像中的丰富特征信息。

CSMamba解码器

解码器部分由CSMamba模块构成，该模块团结了Mamba架构和宝贵力机制，无意灵验地捕捉长距离依赖性并进行特征选择和交融。

CSMamba模块

并行分支管制：输入特征通过两条并行分支进行管制。第一条分支通过一系列卷积、激活函数和选择性扫描模块来管制特征。第二条分支则通过通说念和空间宝贵力模块进行管制。

特征交融：两条分支的特征通过元素级乘法进行交融，生成最终输出特征。

2D选择性扫描模块(2D-SSM)：该模块将图像特征展平成一维序列，并在多个方进取进行扫描，捕捉长距离依赖性。这些扫描着力随后归拢以恢规复始二维结构，从而捕捉全局高下文信息。

多轨范宝贵力团员模块（MSAA）

特征团员：从ResNet编码器的不同头绪输出的特征进行拼接。

空间团员：使用不同尺寸的卷积核（举例3×3、5×5、7×7）进行多轨范特征交融，然后通过池化操作和卷积进一步管制特征。

通说念团员：通过全局平均池化将特征进行降维，然后通过一系列卷积和激活函数生成通说念宝贵力争。

该模块的作用是增强特征的多轨范和多头绪信息抒发。

图片

多输出监督

在解码器的每个CSMamba模块引入中间监督机制。这种多输出监督机制确保网罗的各个阶段齐对最终的分割着力有所孝敬，使分割着力逐渐讲究化。

精度

精度对比

Potedam数据集

图片

图片

Vaihingen数据集

图片

图片

LoveDA数据集

图片

图片

消融施行

图片

打算复杂度

图片

图片

本站仅提供存储事业，所有骨子均由用户发布，如发现存害或侵权骨子，请点击举报。