基于多模态图像分割的地表基质遥感解译

摘要：地表基质是孕育和支撑森林、草原、水和湿地等各类自然资源的基础物质，如何对地表覆盖物进行快速且准确的分类对于地表基质研究有着至关重要的作用。近年来，卷积神经网络凭借其出色的拟合能力，广泛的用于解决各类问题。本文开展了基于神经网络的地表基质分割研究，通过融合遥感数据与三调数据，联合利用不同数据间的互补特性，最终实现了复杂场景的分割，同时提高了分割边界的准确性。

关键词：地表基质；遥感解译；深度学习；多模态融合；图像分割

1.引言

为了响应“绿水青山就是金山银山”的发展理念，地表基质的概念于2020年1月18日首次提出，同年12月22日，自然资源部印发了《地表基质分类方案（试行）》，进一步加深了地表基质的细化研究。方案明确指出，地表基质是指地球表层孕育和支撑森林、草原、水和湿地等各类自然资源的基础物质，其中，海岸线向海一侧分为海底基质，海岸线向陆一侧按照岩、砾、土、泥进行分类[1]。综上所述，对地物进行准确的分类对于推进地表基质的研究有着举足轻重的作用。

遥感数据因其光谱特征丰富及时间、空间分辨率高的特点，在城市规划、土地利用等方面得到了广泛的应用[2,3]。最初的遥感图像解译方法是人工目视解译，但是因存在耗时耗力且引入了大量人为主观性的缺点导致其无法满足遥感图像高效提取的需求，因此，基于卷积神经网络的遥感图像智能识别方法应运而生。近些年，遥感领域的专家和学者在不断探索遥感图像的智能化解译方法。其中，Wu等（2019）提出四个堆叠的FCN网络结构用于遥感图像中各种土地类型的分割，但其巨大的参数量导致其训练十分费时[4]；Xie等（2017）采用基于深度卷积神经网络的方法对遥感图像的云层进行分类，最后分为厚云、薄云和非云三类[5]；Wei等（2017）设计了一个融入路网集合信息的深度神经网络用于提取遥感图像中的路网[6]。

遥感图像具有覆盖范围大、清晰度高、时效性好等特征，同时，三调数据通过野外作业人员的实地调查，具有准确度高的特点。因此，考虑到两种数据间的优势可以互补，本文利用U-Net大模型融合两种数据。通过对比直接识别遥感图像的分割结果，本文提出的方法能够对遥感图像的边界进行准确识别。

2.地表基质的遥感解译特征

通过野外实地考察，结合工作区的地表类型及特征，最终确定通过遥感影像的颜色、形状、大小及位置等信息确定不同地表基质类型，这些信息包括不同地物的空间及光谱特征。在建立标签时，需要分析不同地表基质的影像特征，使得所建立的解译标签能够满足工作区的需要。

本次研究在重庆市垫江县开展，依据不同地表基质在影像中色调、形状、位置进行判定，具体如下：

①岩：岩和土常交替出现，根据工作区情况，选取树林茂盛的地区作为岩石识别标准，在影像上表现为植被生长的地区，呈绿色。

②砾：工作区少有砾石出露，故不做区分。

③土：土一般位于作物茂密的地区，工作区多紫色土和黄壤土，在影像上多位于梯田附近，呈现黄色、紫色。

④泥：泥通常分布于河流周边，地貌上组成倾斜的冲击河道和湖积河床，影像上呈青色、青蓝色。

根据上述标签制作原则对工作区影像进行划分，最终确定岩、土和泥的遥感影像识别特征，如图1所示。

图1 岩、土和泥的遥感影像识别特征

根据工作区特定的遥感影像识别特征，对工作区的影像制作对应标签，如图2所示。最终制作数据2000对，按照7:3的比例划分训练集和验证集。

图2 根据遥感影像特征制作的数据集

3.模型及训练

考虑到仅根据遥感影像无法量化边界信息，例如田地和树林之间接触的地方无法只通过遥感影像进行有划分，故在模型训练中引入三调数据，通过深度学习网络融合遥感影像范围大、清晰度高、时效性好的优势和三调数据准确度高的特点。

本次研究使用的网络采用双输入的结构，需要同时接受同一地区的遥感图与三调图，网络采用U-Net的思想，由编码器和解码器两个部分组成（如图3）。编码器部分会通过两个瓶颈残差模块，然后在通过一次最大池化层对数据进行下采样，每次操作会使特征图的通道数增加2倍，同时每次池化会将特征图尺寸缩小2倍，最终获得低分辨率信息。解码器部分会对特征图进行转置卷积，特征图尺寸扩大2倍，然后将上采样获得的高分辨率信息与编码器中特征图尺寸相同的低分辨率信息在通道维度进行拼接，多次操作后用1×1的卷积核对最后的特征图进行预测，生成数据与输入数据具有相同的维度和尺寸大小。

图3 分割网络结构图

在开始训练网络之前，需要配置损失函数及优化器。在损失函数方面，本次使用分类交叉熵损失函数（categorical crossentropy），该损失函数能够有效处理多分类任务。在优化器方面，使用RMSProp方法，该方法在参数空间梯度较小的时候，可以降低学习率的下降幅度，进而加快训练速度。

完成网络配置后，即可对网络进行训练。在将batch size设置为64，epoch设置为40的情况下，经过大概25次迭代后网络就趋于收敛了，损失函数值达到了1.2左右，分割准确率达到了60%左右，在CPU上运行，整个过程耗时大约12小时。为了增加数据的可读性，本次训练的损失函数和评估函数曲线应用指数移动平均，如图4所示。

图4 分割网络训练的损失函数和评估函数曲线

4.实际应用

训练结束后，利用一块全新的数据对网络的拟合能力进行检测，同时对比未引入三调数据的结果，观察网络是否已经具有分割能力。由于网络是对每一个像元进行预测，输出0-1的概率值，而标签数据只有0和1，因此需要对输出结果进行二值化处理。此外，分割的结果会出现孔洞等提问，而实际遥感数据不可能出现该情况，针对此问题，对输出结果进行一次中值滤波。最终得到的结果如图5所示。

图5 是否引入三调数据的结果对比图

（a.遥感影像；b.未引入三调数据的结果；c.本文方法的结果）

通过观察训练的结果，模型分割效果十分明显，对于岩、土和泥的分类识别几乎完整解译了遥感图像中的信息。其中，未引入三调数据的结果，虽然在“定性”上做的比较好，但是在“定量”上依旧存在问题，主要表现为经过中值滤波后较为平滑。相较而言，引入三调数据的模型有效地解决了这个问题，准确识别了不同类别的边界。

5.结论及展望

本文利用深度学习网络有效融合遥感数据与三调数据，通过联合两种数据间的互补特性，显著提高了复杂场景分割时边界的准确性。因此，在后续的研究中考虑使用更多维度的数据对模型结果进行修正，例如引入多时相的遥感数据和热红外数据等。

同时，本文方法也有需要改进的地方。标签的制作可以探究更精准的地表基质二级分类标准，并且制作相应标签。

参考文献

[1] 殷志强, 秦小光, 张蜀冀等. 地表基质分类及调查初步研究[J]. 水文地质工程地质, 2020, 47(6): 8-14.

[2] 李美霖, 芮杰, 金飞等. 基于改进 YOLOX 的遥感影像目标检测算法[J]. 吉林大学学报纸(地球科学版), 2023, 53(4): 1313-1322.

[3] 门计林.基于卷积神经网络的高分辨率遥感影像土地利用分类[D].武汉:中国地质大学,2019.

[4] WU G, GUO Y, SONG X, et al. A stacked fully convolutional networks with feature alignment framework for multi-label land-cover segmentation[J]. Remote Sensing, 2019, 11(9): 1051.

[5] XIE F, SHI M, SHI Z, et al. Multilevel cloud detection in remote sensing images based on deep learning[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017, 10(8): 3631-3640.

[6] WEI Y, WANG Z, XU M. Road structure refined cnn for road extraction in aerial image[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(5): 709-713.