(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211388950.7 (22)申请日 2022.11.08 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 陈禾　王国庆　张宁　王爵　 刘文超　谢宜壮　陈亮　 (74)专利代理 机构 北京亿腾知识产权代理事务 所(普通合伙) 11309 专利代理师 陈霁 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于知识蒸馏的轻量级遥感影像变化 检测方法 (57)摘要 本发明实施例公开了一种基于知识蒸馏的 轻量级遥感影像变化检测方法， 在用于遥感影像 变化检测的知识蒸馏框架处通过采用 原型对比 蒸馏、 通道归一化蒸馏以及空间归一化蒸馏的方 法， 引导学生模型模仿教师模型的判别特征分 布， 以减轻混淆对象的错误分类， 同时关注空间 概率分布和类别概率分布， 以全面学习教师模型 输出概率中包含的知识。 多个蒸馏方法结合有利 于提高学生模型的准确率并引导学生模型全面 地学习教师输出中包含的知识， 使其具备更强的 变化区域识别能力生成更准确的遥感影像变化 检测结果。 权利要求书3页 说明书7页 附图3页 CN 115546196 A 2022.12.30 CN 115546196 A 1.一种基于知识蒸馏的轻量级遥感影 像变化检测方法， 包括： 获取双时相遥感影像， 将双时相遥感影像同时输入到孪生网络的学生模型和教师模型 中， 生成学生模型的第一特 征图和教师模型的第二特 征图； 将第一特征图和人为标注的真值图输入原型对比蒸馏模块中的PC模块， 根据真值图和 第一特征图生成第一PC图； 将第二特征图输入所述原型对比蒸馏模块中的PC模块， 根据真 值图和第二特 征图生成第二PC图； 根据所述真值图和交叉熵损失， 确定第一损失函数； 根据第一PC图和第二PC图， 确定第二损失函数； 对所述第一特征图和第二特征图进行二维的卷积操作， 生成第一概率图和第二概率 图， 将第一概率图和第二概率图输入到通道归一化蒸馏模块中， 得到第一通道概率图和第 二通道概率图， 将第一概率图和第二概率图输入到空间归一化蒸馏模块中， 得到第一空间 概率图和第二空间概 率图； 根据所述第一 通道概率图和第二 通道概率图， 确定第三损失函数； 根据所述第一空间概 率图和第二空间概 率图， 确定第四损失函数； 根据第一、 第二、 第三、 第四损失函数， 确定的所述轻量级遥感影像变化检测的总损失 函数； 根据所述总损失函数， 对所述学生模型进行迭代训练， 得到训练完成的学生模型； 使用所述训练完成的学生模型， 检测遥感影 像变化。 2.根据权利要求1所述的方法， 其特 征在于， 所述 通道归一 化蒸馏模块中， 包括： 通过对所述概率图进行通道概率归一化处理， 在软类别概率分布中采用逐像素对齐， 以减少所述学生模型和教师模型的像素级类别分布差异。 3.根据权利要求1所述的方法， 其特 征在于， 所述空间归一 化蒸馏模块中， 包括： 通过对所述概率图进行每个通道的空间概率归一化处理， 在软空间概率分布中采用逐 通道对齐， 以减少所述学生模型和所述教师模型的通道级空间分布差异。 4.根据权利要求1所述的方法， 其特 征在于， 所述特 征图的数 学表达式为： Fs＝fs(IT1,IT2) Ft＝ft(IT1,IT2) 其中， IT1和IT2为所述双时相遥感影像， fs和ft分别是所述学生模型和所述教师模型的 计算函数， Fs和Ft分别是所述学生模型和所述教师模型的特 征图。 5.根据权利要求1所述的方法， 其特 征在于， 所述PC图的数 学表达式为： Ms＝fPC(Fs|GT) Mt＝fPC(Ft|GT) 其中， GT为所述真值图， Fs和Ft分别是所述学生模型和所述教师模型的特征图， fPC为所 述PC模块的计算 函数， Ms和Mt分别是所述学生模型和所述教师模型的PC图。 6.根据权利要求1所述的方法， 其特 征在于， 所述第二损失函数的数 学表达式为： 其中， LPC为第二损失函数， N为像素数， Ω为图像域， Ms和Mt分别是所述学生模型和所述 教师模型的PC图， 所述P C图M表征了特征 空间中的结构化信息， 通过最小化教师模型和学生权　利　要　求　书 1/3 页 2 CN 115546196 A 2模型的PC图之间的距离， 以优化学生模型的特 征分布； 所述M的数 学表达式为： 其中， sim表示余弦相似度， exp函数用于稳定训练， Sc和Sn分别是属于变化类的像素集 和属于非变化类的像素集， Pc和Pn分别是变化原型和非变化原型， 对应每个像素特征； 所述 Pc和Pn的数学表达式为： 其中， f(i)和f(j)分别代 表像素i和像素j上的特 征。 7.根据权利要求1所述的方法， 其特 征在于， 所述第三损失函数的数 学表达式为： 其中， LCN为第三损失函数， 和 分别是是学生模型生成的第一通道概率图和教师模 型生成的第二 通道概率图， 所述Pc(c,i)的数 学表达式为： 其中， T1为决定类别概率软化程度的温度参数， Pc(c,i)为概率图中第i个像素在第c通 道上的概 率。 8.根据权利要求1所述的方法， 其特 征在于， 所述第四损失函数的数 学表达式为： 其中， LSN为第四损失函数， PS(c,i)为概率图中第i个像素在第c通道上的概率， 所述Pc (c,i)的数 学表达式为： 其中， 和 分别是是学生模型生成的第一空间概率图和教师模型生成的第二空间概 率图， T2为决定空间概 率软化程度的温度参数。 9.根据权利要求1 ‑6任一项所述的方法， 其特征在于， 所述总损失函数的数学表达式 为：权　利　要　求　书 2/3 页 3 CN 115546196 A 3