(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211397138.0 (22)申请日 2022.11.09 (71)申请人 中国传媒大 学 地址 100024 北京市朝阳区定福庄东 街一 号中国传媒大 学 (72)发明人 孟明　肖立凯　周忠　 (74)专利代理 机构 北京科迪生专利代理有限责 任公司 1 1251 专利代理师 安丽 (51)Int.Cl. G06T 7/50(2017.01) G06T 7/13(2017.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 一种面向室内鱼眼图像的场景结构深度估 计方法 (57)摘要 本发明一种面向室内鱼眼图像的场景结构 深度估计方法， 步骤为： (1)设计基于特征的目标 损失函数； (2)设计基于鱼眼投影的畸变感知模 块； (3)构建基于编码 ‑解码策略的场景结构深度 估计网络模型， 设置相应的模型训练参数； (4)通 过鱼眼图像深度的训练数据集对模型进行训练 优化； (5)将鱼眼图像深度的测试数据集输入到 训练模型中， 预测出对应的场景结构深度图。 输 入给定的RGB鱼眼图像与对应的掩码图像， 本发 明首次实现了从单幅鱼眼图像中端到端地估计 出场景结构深度， 广泛应用于虚拟/增强现实、 机 器人室内导航， 提升三维重建和三维场景理解的 速度和精度。 权利要求书2页 说明书7页 附图2页 CN 115546273 A 2022.12.30 CN 115546273 A 1.一种面向室内鱼眼 图像的场景 结构深度估计方法， 其特 征在于， 包括以下内容： (1)构建基于编码 ‑解码策略的场景结构深度估计网络模型， 设置所述网络模型的训练 参数； 在编码器中采用鱼眼畸变卷积模块,利用可变形卷积学习鱼眼图像中的几何畸变信 息， 对鱼眼图像进 行局部几何特征卷积操作， 提高鱼眼图像中特征信息的提取准确率； 在解 码器中采用向上映射层 模块加深所述网络结构深度； 同时在编 码器解码器之间添加跳跃连 接， 提高所述网络模型 的场景结构深度估计准确度； 并在所述网络模型训练过程中采用基 于图像特 征的目标损失函数； (2)通过鱼眼 图像深度的训练数据集对场景 结构深度估计网络模型进行训练优化； (3)将鱼眼图像深度的测试数据集输入到训练场景结构深度估计网络模型中， 预测出 输入鱼眼 图像的场景 结构深度。 2.根据权利要求1所述的一种面向室内鱼眼图像的场景结构深度估计方法， 其特征在 于： 所述步骤(1)中， 基于图像特 征的目标损失函数L如下： L＝ω1Ldepth+ω2Lgrad+ω3Lnormal Ldepth为深度损失项， 计算公式如下： 其中， N为样本数， di表示预测的结构深度值， gi为真实的结构深度值， α 为可调节参数， i 表示像素个数； Lgrad为梯度损失项， 计算公式为： 其中， 和 为向量表示的边缘梯度大小， 分别表示深度误差在x,y方向的偏导； x为水 平梯度， y为垂直深度； Lnormal为法向量损失项Lnormal， 计算公式为： 其中， 分别表示在预测 的 结构深度图和真实的结构深度图中计算得到的法 向量， 表示预测法 向量和真实法 向 量的内积 操作； ω1、 ω2和ω3分别为三个损失项对应的权 重系数。 3.根据权利要求1所述的一种面向室内鱼眼图像的场景结构深度估计方法， 其特征在 于： 所述步骤(1)中， 构建基于编码 ‑解码策略的场景结构深度估计网络模型中， 编码器以 ResNet‑50作为主干网络提取输入鱼眼图像的语义特征， 学习图像像素点之间的依赖关系， 输出包含低维语义信息和高维语义信息的特征图； 所述ResNet ‑50中第三个至第五个瓶颈 块采用鱼眼畸变卷积模块， 增强场景结构深度估计模型对鱼眼图像畸变的学习能力； 所述 鱼眼畸变卷积模块采用鱼眼 图像投影模型设计。权　利　要　求　书 1/2 页 2 CN 115546273 A 24.根据权利要求1所述的一种面向室内鱼眼图像的场景结构深度估计方法， 其特征在 于： 所述步骤(1)中， 构建基于编 码‑解码策略的场景结构深度估计网络模型中， 解码 器的实 现为： 以编码器得到的特征图为输入， 基于向上映射层模块构建对特征解码； 解码器中包含 四个向上映射层模块， 负责增大特征图的分辨率并实现对语义特征 的解码， 通过有监督的 端到端的学习方式， 将学习到的分布式特征表示映射到样本标记空间， 输出预测的结构深 度图； 所述每 个向上映射层模块采用残差结构设计。权　利　要　求　书 2/2 页 3 CN 115546273 A 3