(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211391996.4 (22)申请日 2022.11.08 (71)申请人 杭州倚澜科技有限公司 地址 311200 浙江省杭州市萧 山区经济技 术开发区明星路371号1幢1413室 (72)发明人 戴翘楚　吴翼天　曹静萍　 (51)Int.Cl. G06T 5/50(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多层神经表面表达的自由视点图像合 成方法 (57)摘要 本发明公开了基于多层神经表面表达的自 由视点图像合成方法， 涉及计算机视觉领域， 该 方法包括以下步骤， 步骤S1、 获取稀疏视点采集 的图像数据， 对稀 疏视点位姿进行估计； 步骤S2、 设计基于多层神经表面表达的稀疏视点自由视 点图像合成网络； 步骤S3、 利用大规模多视点数 据集训练上述基于多层神经表面表达的稀疏视 点自由视点图像合成网络； 步骤S4、 获得图像合 成网络模型参数之后， 应用于第一步中获取的稀 疏多视点数据的自由视点合 成任务。 本发明通过 设计多层神经表面表达模型， 充分利用稀疏多视 点图像的特点， 完成高质量且具有泛化性的自由 视点图像合成算法， 适用于多视点采集系统的自 由视点图像合成任务。 权利要求书2页 说明书6页 附图1页 CN 115439388 A 2022.12.06 CN 115439388 A 1.基于多层神经表面表达的自由视点图像合成方法， 其特 征在于， 包括以下步骤： 步骤S1、 获取稀疏视点采集的多视点同步或静止场景图像数据,对稀疏视点位姿进行 估计； 步骤S2、 设计 基于多层神经表面表达的稀疏视点自由视点图像合成网络； 步骤S3、 利用大规模多视点数据集训练上述基于多层神经表面表达的稀疏视点自由视 点图像合成网络， 使其能够泛化到多种多视点数据上； 步骤S4、 获得训练好的基于多层神经表面表达的稀疏视点自由视点图像合成网络模型 参数之后， 应用于步骤S1中获取的稀疏多视点数据的自由视点 合成任务。 2.根据权利要求1所述的基于多层神经表面表达的自由视点图像合成方法， 其特征在 于， 步骤S4之后， 还 存在： 步骤S5、 在训练好的网络对于未出现在训练集中的数据有一定的泛化性时， 直接利用 步骤S3中训练好的网络模型进 行前向预测， 实现待测试的稀疏多视点数据的高质量自由视 点图像合成。 3.根据权利要求1所述的基于多层神经表面表达的自由视点图像合成方法， 其特征在 于， 步骤S1中的， 采集方法为Structure ‑from‑Motion方法或给定标定物尺度的多视点标定 方法。 4.根据权利要求1所述的基于多层神经表面表达的自由视点图像合成方法， 其特征在 于， 所述自由视点合成网络包括多尺度图像特征提取模块、 目标导向的多尺度可细化场景 深度估计的MVS模块、 多层神经表面密度估计模块、 反向特征融合及 多层神经表面颜色解码 模块和多层神经表面体素渲染模块。 5.根据权利要求1所述的基于多层神经表面表达的自由视点图像合成方法， 其特征在 于， 在步骤S3中， 训练数据为带有相机位姿的多视点图像数据， 分为训练集、 验证集和测试 集， 训练使网络收敛且在验证集上。 6.根据权利要求1所述的基于多层神经表面表达的自由视点图像合成方法， 其特征在 于， 在步骤S3中， 设定 ，  为输入的视点数目； 对稀疏视点 位姿进行估计， 得到相应 每个视点的位姿 ； 其中  ， 分别包含了每个视点的内参   ， 外参  。 7.根据权利要求1所述的基于多层神经表面表达的自由视点图像合成方法， 其特征在 于， 在步骤S3中， 定义目标视点的位姿为 ， 根据该目标视点的位置和 朝向找到输入视点中与目标视点最相近的M个源视点的图像   和相机位姿   ， 作 为网络的输入。 8.根据权利要求1所述的基于多层神经表面表达的自由视点图像合成方法， 其特征在 于， 所述多尺度图像特征提取模块由卷积层和跳跃连接层组成， 所述多尺度图像特征提取 模块表示 为： 权　利　要　求　书 1/2 页 2 CN 115439388 A 2其中， 代表本模块的网络， 为任意输入 该模块的图像， 该模块的输出可以 为三个尺度的图像特 征 。 9.根据权利要求4所述的基于多层神经表面表达的自由视点图像合成方法， 其特征在 于， 所述MVS模块， 通过修改基于学习的MVS网络， 实现任意视点的场景几何估计， 其实现方 法包括以下步骤： 将M个源视点图像通过多尺度图像特 征提取模块， 获得M ×3个图像特 征； 对应每个尺度实现源视点特征向目标视点某一深度的变换， 并通过构建方差的代价 体， 经过3D卷积的正则化之后， 输出目标图像各个 像素点在各个深度上的概 率； 从小尺度逐渐向大尺度优化， 并依据前一层的深度值概率更新采样， 最终在原图像分 辨率下输出目标 是点对应多层表面、 曲面， 由最终采样的深度值决定） 上的深度概 率。 10.根据权利要求4所述的基于多层神经表面表达的自由视点图像合成方法， 其特征在 于 ， 所 述 多 层 神经 表 面 密 度 估 计 模 块 ， 从 M V S 模 块的 输 出 采 样 深 度概 率 体 中恢复这些多层表面点上的密度值 ， 对应表示该多层表面的不透 明度， 为体渲染得到最终输出图像做准备； 所述反向特征融合及多层神经表面颜色解码模块， 利用MVS模块获得的多层表面采样 点集， 反向访问源视点特征 中对应的特征值， 并将对应的特征进行融合和解码， 形 成多层表面的颜色值； 所述多层神经表面体素渲染模块， 通过多层神经表面密度估计模块获得的多层神经表 面对应的密度， 以及通过反向特征融合及多层神经表面颜色解码模块获得的多层神经表面 对应的颜色之后， 进行体素渲染， 完成最终目标图像的合成。权　利　要　求　书 2/2 页 3 CN 115439388 A 3