(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211408484.4 (22)申请日 2022.11.10 (71)申请人 武汉图科智能科技有限公司 地址 430000 湖北省武汉市东湖新 技术开 发区光谷大道特1号国际企业中心2栋 4层05号B033(自贸区武汉片区) (72)发明人 陶文兵　苏婉娟　刘李漫　 (74)专利代理 机构 武汉蓝宝石专利代理事务所 (特殊普通 合伙) 42242 专利代理师 万畅 (51)Int.Cl. G06T 7/50(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 面向无人机平台的边缘保持多视图深度估 计及测距方法 (57)摘要 本发明提供一种面向无人机平台的高效的 边缘保持多视图深度估计及测距方法， 以一幅参 考图像和多幅邻域图像及其相机姿态作为输入， 以“由粗到细 ”的方式准确地估计出参考图像的 深度图。 该方法包括： 提出了一个层级边缘保持 残差学习模块来校正双线性上采样中产生的误 差和对多尺度深度估计网络估计的深度图进行 优化， 使网络能够得到边缘细节保持的深度图； 提出一种交叉视图光度一致性损失来增强训练 时细节区域的梯度流， 可进一步提高深度估计的 准确性； 设计了一个轻量级的多视图深度估计级 联网络框架， 通过在相同分辨率下堆叠阶段可以 在不增加很多额外显存和时间消耗的情况下尽 可能多地进行深度假设采样， 从而能够在高效地 进行深度估计 。 权利要求书4页 说明书11页 附图1页 CN 115457101 A 2022.12.09 CN 115457101 A 1.一种面向无人机平台的边缘保持多视图深度估计方法， 其特征在于， 所述边缘保持 多视图深度估计方法包括： 步骤1， 给定一幅参考图像 及其N‑1幅邻域图像 ， 利用权值共享的多尺度深度 特征提取 网络提取各幅图像的多尺度深度特征 ， 其中， 表示第s个尺度， 第 s个尺度特征的大小为 ， 为第s个尺度特征的通道数， 为 原始输入图像的大小； 步骤2， 确定所述多尺度深度特 征提取网络第1个阶段估计的深度图 ； 步骤3， 基于所述深度图 确定所述多尺度深度特征提取网络第2个阶段估计的深度图 ； 步骤4， 采用层级边缘保持残差学习模块来对所述深度图 进行优化和上采样， 得到 优化后的深度图 ； 步骤5， 基于所述深度图 和第2个尺度 下的图像深度特征 ， 依次进行第3个阶 段和第4个阶段的深度估计， 得到第4个阶段估计的深度图 ； 步骤6， 采用层级边缘保持残差学习模块对所述深度图 进行优化和上采样， 得到优 化后的深度图 ； 步骤7， 基于优化后的深度图 和第3个尺度下的图像深度特征 ， 进行第5个阶 段的深度估计， 得到深度图 。 2.根据权利要求1所述的边缘保持多视图深度估计方法， 其特征在于， 所述多尺度 特征 提取网络为由具有跳跃式连接的一个编码器和 一个解码器组成的二维U型网络； 所述编码 器和所述 解码器由多个残差块组成。 3.根据权利要求1所述的边缘保持多视 图深度估计方法， 其特征在于， 所述步骤2中包 括： 步骤201， 在整个场景深度范围 内均匀采样 个深度假设值； 步骤202， 通过可微 单应变换， 在每个深度假设下， 将第 i幅邻域视图的深度特征 投影变换至参 考视图下， 再利用组相关度量 来构建两 视图代价体 ； 步骤203， 对于第 i个两视图代价体 ， 采用浅层3D  CNN来估计可见性图 ， 并基于每 幅领域视图的可见性图 ， 对所有的两视图代价体进行加权求和， 得到最终聚合的代价体 ； 步骤204， 利用三维卷积神经网络对所述代价体 进行正则化， 通过S oftmax操作得到权　利　要　求　书 1/4 页 2 CN 115457101 A 2深度概率体， 并基于该深度概 率体， 采用soft ‑argmax得到所述深度图 。 4.根据权利要求3所述的边 缘保持多视图深度估计方法， 其特 征在于， 所述 步骤3包括： 步骤301， 根据所述深度图 确定第二阶段的深度假设采样范围 ， 并在该深度范围 内进行均匀采样 个深度假设值； 步骤302， 按照所述步骤201 ‑步骤203的方法进行两视图代价体构造与聚合， 在第1个尺 度下的图像深度特 征 与 个深度假设值的基础上 得到聚合的代价体 ； 步骤303， 按照所述步骤204的方法进行代价体正则化和深度图预测， 基于代价体 得 到所述深度图 。 5.根据权利要求1所述的边 缘保持多视图深度估计方法， 其特 征在于， 所述 步骤4包括： 步骤401， 利用上下文编码网络提取参考图像的多尺度上下文特征 ， 其中， 表 示第s个尺度， 第s个尺度特 征的大小为 ； 步骤402， 对所述深度图 进行归一化， 利用一个浅层的2D  CNN网络对归一化后的所 述深度图 进行特征提取； 步骤403， 将提取的深度图特征与图像的上下文 特征 进行连接， 并输入至边缘保持残 差学习网络进行残差学习， 得到残差图 ； 步骤404， 将经过归 一化和上采样的所述深度图与所述残 差图 进行相加， 并将相加 后的结果进行解归一 化， 得到优化后的所述深度图 。 6.根据权利要求5所述的边 缘保持多视图深度估计方法， 其特 征在于， 所述步骤401中的所述上下文编码网络为一个二维U型网络， 所述上下文编码网络包 括： 具有跳跃式连接的一个编码器和一个解码器； 所述步骤402中对所述深度图 归一化的公式为： （1） 其中， 和 分别表示均值和方差计算； 所述步骤403 中的所述边缘保持残差学习网络为由具有跳跃式连接的一个编码器和一 个解码器组成的二维U型网络； 所述编码器和所述 解码器由多个残差块组成； 所述步骤404中， 对所述归一化的深度图 采用双线性插值进行上采样并与所述残差 图 进行相加， 得到优化后的归一 化深度图 ， 即    （2） 其中， 表示采用双线性插值将上 采样至原来的两倍； 利用深度图 的均值和方差进行解归一 化， 得到优化后的深度图 ：权　利　要　求　书 2/4 页 3 CN 115457101 A 3