(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211338135.X (22)申请日 2022.10.28 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦二层 (72)发明人 杨少雄　赵晨　刘经拓　孙昊　 丁二锐　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 张润 (51)Int.Cl. G06T 7/55(2017.01) G06T 17/20(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 人体信息的确定方法、 装置及电子设备 (57)摘要 本公开提供了人体信息的确定方法， 涉及增 强现实、 虚拟现实、 计算机视觉、 深度学习等技术 领域， 可应用于元宇宙等场景。 具体方案： 获取相 机采集的目标对象的前视图、 侧视图及身高数 据； 根据前视图及侧视图确定相机的参数及目标 对象的目标人体参数； 将目标人体参数及相机的 参数， 输入预设多视图重建网络模型， 获取多视 图重建网络模 型输出的第一预测人体网格模型； 根据身高数据对第一预测人体网格模型进行缩 放， 确定目标对象的人体网格模型； 根据人体网 格模型确定目标对象 的人体数据。 该方法通过目 标对象的前视图及侧视图准确地构建出人体网 格模型， 并基于人体网格模型确定人体数据， 不 仅提高了确定人体数据的便捷性， 也提高了确定 人体数据的准确性。 权利要求书4页 说明书13页 附图7页 CN 115457104 A 2022.12.09 CN 115457104 A 1.一种人体信息的确定方法， 所述方法包括： 获取相机采集的目标对象的前视图、 侧视图及身高数据； 根据所述前视图及所述侧视图， 确定所述相机的参数及所述目标对象的目标人体参 数； 将所述目标人体参数及所述相机的参数， 输入预设的多视 图重建网络模型， 以获取所 述多视图重建网络模型输出的第一预测人体网格模型； 根据所述身高数据对所述第 一预测人体网格模型进行缩放， 以确定所述目标对象的人 体网格模型； 根据所述人体网格模型， 确定所述目标对象的人体数据。 2.如权利要求1所述方法， 其中， 所述根据所述前视 图及所述侧视 图， 确定所述相机的 参数及所述目标对象的目标 人体参数， 包括： 分别对所述前视图及所述侧视图进行人体框检测， 以确定所述前视图中的第 一人体框 及所述侧视图中的第二人体框； 分别基于所述第一人体框及第 二人体框， 提取所述前视图中的第 一人体图像及所述侧 视图中的第二人体图像； 利用预设的人体参数评估模型， 分别确定所述第 一人体图像对应的第 一相机参数及第 一人体参数、 所述第二人体图像对应的第二相机参数及第二人体参数； 根据所述第一相机参数及所述第二相机参数， 确定所述相机的参数； 对所述第一人体参数及所述第二人体参数进行融合， 以确定所述目标 人体参数。 3.如权利要求1所述方法， 其中， 所述根据所述人体网格模型， 确定所述目标对象的人 体数据， 包括： 获取所述人体网格模型中预设人体部位的切面； 根据所述切面的正投影及侧投影， 分别确定所述预设人体部位的宽度数据、 厚度数据； 根据所述切面的边 缘， 确定所述预设人体部位的围长数据。 4.如权利要求1所述方法， 其中， 在所述将所述目标人体参数及所述相机的参数， 输入 预设的多视图重建 网络模型， 以获取所述多视图重 建网络模型输出的第一预测人体网格模 型之前， 还 包括： 对所述前视图进行 人体关键点检测， 以确定所述前视图中的第一关键点； 基于关键点之间的对称性及所述第一关键点， 确定所述前视图中缺失的第一人体部 件； 根据与所述第一人体部件对称的第 二人体部件的人体参数， 确定所述第 一人体部件对 应的补充人体参数； 利用所述补充人体参数对所述人体参数， 进行补充。 5.如权利要求1所述方法， 其中， 在所述将所述目标人体参数及所述相机的参数， 输入 预设的多视图重建 网络模型， 以获取所述多视图重 建网络模型输出的第一预测人体网格模 型之前， 还 包括： 获取训练数据集， 其中， 所述训练数据集包括训练样本的样本前视图、 样本侧视 图、 样 本人体参数及样本相机参数； 将所述样本人体参数及所述样本相机参数， 输入初始多视 图重建网络模型， 以输出第权　利　要　求　书 1/4 页 2 CN 115457104 A 2二预测人体网格模型； 对所述样本前视图及所述样本侧视图进行人体关键点检测和人体轮廓检测， 以确定所 述训练样本的第二关键点和第一轮廓； 根据预设的投影函数， 确定所述第二预测人体网格模型的预测前视图和预测 侧视图； 对所述预测前视图及所述预测侧视图分别进行人体关键点检测和人体轮廓检测， 以确 定所述第二预测人体网格模型的第三关键点和第二轮廓； 根据所述第三关键点与所述第二关键点的误差及所述第二轮廓与所述第一轮廓的误 差， 确定损失值； 基于所述损失值对所述初始多视图重建网络模型进行修正， 直至获取多视图重建网络 模型。 6.如权利要求5所述方法， 其中， 在所述根据 所述第三关键点与 所述第二关键点的误差 及所述第二轮廓与所述第一轮廓的误差， 确定损失值之后， 还 包括： 获取预设的参 考姿态参数； 对所述第二预测人体网格模型进行姿态检测， 以确定所述第 二预测人体网格模型的第 一姿态参数； 根据所述第一姿态参数与所述 参考姿态参数的相似度， 修 正所述损失值。 7.如权利要求1所述方法， 其中， 还 包括： 根据预设的各 数据类型的调整值， 对所述人体数据进行调整。 8.如权利要求7所述方法， 其中， 所述根据预设的各数据类型的调整值， 对所述人体数 据进行调整， 包括： 将各所述数据类型的调整值及所述人体数据输入预设的数据回归模型， 以输出调 整后 的人体数据。 9.如权利要求1 ‑8任一所述方法， 其中， 所述目标人体参数中包括第二姿态参数， 在所 述根据所述前视图及所述侧视图， 确定所述相机的参数及所述目标对象的目标人体参数之 后， 还包括： 在所述第二姿态参数与预设的参考姿态参数的相似度小于预设阈值的情况下， 生成提 示信息， 其中， 所述 提示信息用于提 示所述目标对象姿态不 正确。 10.一种人体信息的确定装置， 所述装置包括： 获取模块， 用于获取相机采集的目标对象的前视图、 侧视图及身高数据； 确定模块， 用于根据所述前视 图及所述侧视 图， 确定所述相机的参数及所述目标对象 的目标人体参数； 预测模块， 用于将所述目标人体参数及所述相机的参数， 输入预设的多视 图重建网络 模型， 以获取 所述多视图重建网络模型输出的第一预测人体网格模型； 修正模块， 用于根据所述身高数据对所述第一预测人体网格模型进行缩放， 以确定所 述目标对象的人体网格模型； 所述确定模块， 用于根据所述人体网格模型， 确定所述目标对象的人体数据。 11.如权利要求10所述装置， 其中， 所述确定模块， 用于： 分别对所述前视图及所述侧视图进行人体框检测， 以确定所述前视图中的第 一人体框 及所述侧视图中的第二人体框；权　利　要　求　书 2/4 页 3 CN 115457104 A 3