(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211253518.7 (22)申请日 2022.10.13 (71)申请人 山东科技大 学 地址 266590 山东省青岛市黄岛区前湾港 路579号 (72)发明人 王海霞　刘强　舒焕洲　卢晓　 张治国　张洋涌　陈禹沁　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 闫圣娟 (51)Int.Cl. G06T 17/00(2006.01) G06T 19/20(2011.01) G06T 3/40(2006.01) G06T 7/11(2017.01)G06T 7/41(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种针对低纹理区域精确表示的场景表达 方法及系统 (57)摘要 本公开涉及计算机视觉技术领域， 提出了一 种针对低纹理区域精确表示的场景表达方法及 系统， 包括如下步骤： 获取待识别场景区域中相 机的相机参数、 目标视图图像坐标和初始深度； 将获取的数据， 输入至训练好的超像素引导场景 表示网络进行场景表达， 得到合成的场景目标视 图； 所述超像素引导场景表示网络包括场景表示 网络和超像素正则化模块， 在场景表 示网络的像 素生成器前， 设置超像素正则化模块， 将整个场 景分割成多个局部区域， 然后利用平滑损失函 数， 优化局部区域的场景表示， 训练超像素引导 场景表示网络。 本公开的方法能够解决场景表达 模型在低纹理区域表示不精确问题， 来提高场景 表示模型的3D结构表达能力。 权利要求书2页 说明书6页 附图1页 CN 115526992 A 2022.12.27 CN 115526992 A 1.一种针对低纹 理区域精确表示的场景表达方法， 其特 征在于， 包括如下步骤： 获取待识别场景区域中相机的相机参数， 目标视图 图像坐标和初始深度； 将获取的数据， 输入至训练好的超像素引导场景表示网络进行场景表达， 得到合成的 场景目标视图； 所述超像素引导场景表示网络包括场景表示网络和超像素正则化模块， 在场景表示网 络的像素生成器前， 设置超像素正则化模块， 将整个场景分割成多个局部区域， 然后利用平 滑损失函数， 优化局部区域的场景表 示， 计算正则化值作为网络的一项损失函数， 与场景表 示网络的平衡二维图像监督损失Ldepth以及像素损失LColor构建总损失函数， 训练超像素引 导场景表示网络 。 2.如权利要求1所述的一种针对低纹理区域精确 表示的场景表达方法， 其特征在于： 所 述相机参数包括相机位置与姿态数据。 3.如权利要求1所述的一种针对低纹理区域精确 表示的场景表达方法， 其特征在于： 场 景表示网络为SRNs网络、 NeRF网络或者 LFN网络。 4.如权利要求1所述的一种针对低纹理区域精确 表示的场景表达方法， 其特征在于， 合 成场景目标视图， 包括如下步骤： 将获取的相机参数、 目标视 图图像坐标和初始深度， 通过相机矩阵转换为三维世界坐 标； 将转换后的三维世界坐标， 输入至场景表示 函数得到场景表示向量； 将得到的场景表示向量输入到可微光线推进模块进行迭代， 并更新三维世界坐标， 按 照设定次数的迭代后得到最终场景表示向量； 最终场景表示向量输入至像素生成器解码得到目标视图。 5.如权利要求1所述的一种针对低纹理区域精确 表示的场景表达方法， 其特征在于： 本 实施例中， 场景表示 函数具体为： 通过多层神经网络拟合得到； 或者， 可微光线推进模块采用光线推进长短期记忆网络， 以场景表示向量vi和上次循 环隐藏状态作为输入， 经过网络运算得到新的 隐藏状态并作为光线推进距离δ， 上一循环的 深度值di‑1与光线推进距离 δ相加则得到更新的深度值d。 6.如权利要求1所述的一种针对低纹理区域精确 表示的场景表达方法， 其特征在于： 超 像素引导场景表示网络训练方法， 包括如下步骤： 构建训练数据集， 数据集数据包括场景真实图像， 以及场景真实图像的每个目标视 图 对应的相机参数、 视图 图像坐标和初始深度； 获取训练数据集中的相机参数， 以及目标视 图图像坐标和初始深度， 通过相机矩阵转 换为三维世界坐标x； 将转换后的三维世界坐标x， 输入至场景表示 函数Φ(x)得到场景表示向量vi； 将得到的场景表示向量vi输入到可微光线推进模块进行迭代， 并更新三维世界坐标x， 按照设定次数n的迭代后得到最终场景表示向量vn； 最终场景表示向量vn输入至像素生成器解码得到目标视图 利用场景表示 向量vn、 真实图像I以及由真实图像生成的超像素掩膜M， 得到正则化值， 作为一项损失函数， 计算总损失函数值；权　利　要　求　书 1/2 页 2 CN 115526992 A 2根据计算的总损失函数值， 进行反向传播， 不断迭代更新网络权重， 最终达到最终的精 确表达， 得到训练好的超像素引导场景表示网络 。 7.如权利要求1所述的一种针对低纹理区域精确 表示的场景表达方法， 其特征在于： 给 定目标视图的相机参数包括相机内参和相机姿态； 或者， 总损失函数值为的平衡二维图像监督损失Ldepth、 像素损失LColor以及超像素正则 化模块的平 滑约束损失函数LSG‑v的加权和。 8.一种针对低纹 理区域精确表示的场景表达系统， 其特 征在于， 包括： 数据获取模块： 被配置为用于获取待识别场景区域中相机的相机参数、 目标视 图图像 坐标和初始深度； 场景表达模块： 被配置为用于将获取的数据， 输入至训练好的超像素引导场景表示网 络进行场景表达， 得到合成的场景目标视图； 所述超像素引导场景表示网络包括场景表示网络和超像素正则化模块， 在场景表示网 络的像素生成器前， 设置超像素正则化模块， 将整个场景分割成多个局部区域， 然后利用平 滑损失函数， 优化局部区域的场景表 示， 计算正则化值作为网络的一项损失函数， 与场景表 示网络的平衡二维图像监督损失Ldepth以及像素损失LColor构建总损失函数， 训练超像素引 导场景表示网络 。 9.一种电子设备， 其特征在于， 包括存储器和处理器以及存储在存储器上并在处理器 上运行的计算机指 令， 所述计算机指 令被处理器运行时， 完成权利要求 1‑7任一项方法所述 的步骤。 10.一种计算机可读存储介质， 其特征在于， 用于存储计算机指令， 所述计算机指令被 处理器执行时， 完成权利要求1 ‑7任一项方法所述的步骤。权　利　要　求　书 2/2 页 3 CN 115526992 A 3