(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211416882.0 (22)申请日 2022.11.14 (71)申请人 中国测绘科 学研究院 地址 100830 北京市海淀区莲 花池西路28 号 (72)发明人 桑会勇　郝才斐　乔庆华　翟亮　 张英　刘佳　侯伟　 (74)专利代理 机构 北京山允知识产权代理事务 所(特殊普通 合伙) 11741 专利代理师 胡冰　宋少华 (51)Int.Cl. G06T 5/50(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于卷积神经网络的影像融合方法以 及遥感影 像融合方法 (57)摘要 本发明提出了一种基于卷积神经网络的影 像融合方法， 包括： T1， 使用第一重编解码器网络 用于全色影像和多光谱影像空间特征的联合提 取； T2， 第二重编码器网络用于对高光谱影像提 取光谱特征， 以及将所述高光谱影像的特征和T1 中得到的特征进行融合， 并重建影像。 本发明还 提出一种遥感影像融合方法， 其使用了如前所述 的基于卷积神经网络的影像融合方法。 本发明同 时使用了全色、 多光谱、 高光谱影像信息， 将三者 的优势进行了结合， 解决了单独两种影像进行融 合中信息 差异过大的问题。 权利要求书2页 说明书7页 附图4页 CN 115471437 A 2022.12.13 CN 115471437 A 1.一种基于卷积神经网络的影 像融合方法， 其特 征在于， 包括： T1， 使用第一重编解码器网络用于全色影 像和多光谱影 像空间特 征的联合 提取， 使用； T2， 第二重编码器网络用于对高光谱影像提取光谱特征， 以及将所述高光谱影像的特 征和T1中得到的特 征进行融合， 并重建影 像。 2.根据权利要求1所述的基于卷积神经网络的影像融合方法， 其特征在于， 步骤T1包 括： T11， 使用第一空间特征提取模块对多光谱和高光谱影像的主成分融合后的影像进行 处理， 所述第一空间特 征提取分支包括依次连接的多个空间特 征提取模块； T12， 使用第 二空间特征提取分支对原始的高光谱影像进行处理， 所述第二空间特征提 取分支包括依次连接的多个空间特 征提取模块； T13， 使用第一特 征重建模块对T1 1和T12得到的特 征进行融合； T14， 使用第三空间特 征提取分支对融合后的特 征进行提取。 3.根据权利要求2所述的基于卷积神经网络的影 像融合方法， 其特 征在于， 第一空间特征提取分支中的空间特征提取模块包括： 卷积层、 批归一化层、 激活层、 残 差注意力模块， 残差注意力模块对于多光谱的分支采用空间注意力机制； 第二空间特征提取分支中的空间特征提取模块包括： 卷积层、 批归一化层、 激活层、 残 差注意力模块， 残差注意力模块对于高光谱的分支采用光谱注意力机制； 第一特征重建模块包括： 层次特 征融合结构、 二维卷积层和一维卷积层。 4.根据权利要求1所述的基于卷积神经网络的影像融合方法， 其特征在于， 步骤T2包 括： T21， 使用第 三空间特征提取分支对第一重编码器网络输出的结果进行空间特征提取， 输出空间特 征； T22， 使用光谱特 征提取分支对高光谱影 像进行光谱特 征提取， 输出光谱特 征； T23， 使用第二特 征重建模块对T21和T2 2得到的特 征进行融合。 5.根据权利要求 4所述的基于卷积神经网络的影 像融合方法， 其特 征在于， 第三空间特征提取分支中采用光谱自主力 机制， 光谱特征提取分支中采用光谱自主力 机制； 光谱特征提取分支包括多个连接的光谱特征提取模块， 输出光谱特征， 光谱特征提取 模块包括： 卷积层、 自注意力机制模块。 6.一种遥感影 像融合方法， 其特 征在于， 包括： S1， 获取相同时间成像的全色、 多光谱和高光谱影像并进行预处理， 获得待融合的原始 影像； S2， 使用融合全色影 像与多光谱影 像， 以制作多光谱融合影 像； S3： 构建训练数据集、 有标签数据的训练数据集、 有标签数据的验证数据集； S4， 构建多光谱和高光谱融合网络， 所述网络实现如权利要求1 ‑5中任一项所述的方 法； S5， 在融合网络中输入训练数据集进行训练； S6， 对训练后的融合网络输入验证集， 并与对应的标签数据进行对比， 从空间信息及光 谱信息两方面进行融合效果 考量；权　利　要　求　书 1/2 页 2 CN 115471437 A 2S7， 将融合网络应用至推理数据， 得到对应的高空间分辨 率高光谱分辨 率遥感影 像。 7.根据权利要求6所述的遥感影 像融合方法， 其特 征在于， 步骤S1包括： S11， 获取相同时间成像的全色、 多光谱、 高光谱影像； S12， 对影像进行辐射定标、 大气 校正及几何配准； S13， 筛除配准后的影 像的损坏波段。 8.根据权利要求7 所述的遥感影 像融合方法， 其特 征在于， 步骤S2包括： S21， 规范化影像范围， 按照范围进行裁剪； S22， 构 建主成分分析融合算法： 对多光谱影 像求取协方差矩阵， 按特征值对特征矩阵进行排序， 提取多光谱影像前k个主成分， 以每一 主成分的方差作为选择标准； 对全色影像进行灰度拉伸， 使用拉伸后的全色影像替换第一 主成分； 对替换后的多光谱影像和全色影像的主成分进行反变换， 得到高空间分辨率的多 光谱融合影 像。 9.根据权利要求8所述的遥感影 像融合方法， 其特 征在于， 步骤S3包括： 等比下采样融合多光谱及原高光谱图像作为训练数据集， 将未下采样的原始高光谱影 像作为有标签数据的验证数据集， 将原高光谱图像中没有用于训练和验证的剩余部 分作为 推理数据集。 10.根据权利要求9所述的遥感影 像融合方法， 其特 征在于， 步骤S5包括： S51， 使用SGDR+Adam进行参数传播及优化， 直至 网络收敛或参数下降到达设定值， 训练 过程停止； S52， 对于损失函数， 将划分为两个部分： 对于光谱域特征， 使用基础的平方损失函数； 对于空间域， 选择使用矢量交叉熵损失函数。权　利　要　求　书 2/2 页 3 CN 115471437 A 3