(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211187142.4 (22)申请日 2022.09.28 (71)申请人 奥比中光科技 集团股份有限公司 地址 518063 广东省深圳市南 山区粤海街 道学府路63号高新区联合总部大厦 11-13楼 (72)发明人 蔡万源　刘敏　龚冰冰　邓可旺　 罗鑫　 (74)专利代理 机构 深圳汉世知识产权代理事务 所(特殊普通 合伙) 44578 专利代理师 冷仔 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/40(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 训练方法、 图像光谱迁移方法、 装置及电子 设备 (57)摘要 本申请涉及一种训练方法、 图像光谱迁移方 法、 装置及电子设备。 图像光谱迁移模型的训练 方法包括： 获取第一人脸图像和第二人脸图像， 第一人脸图像和第二人脸图像均为多光谱图像， 两者光照数据不同或分别对应活体和假体； 提取 第一人脸图像的第一人脸特征及第二人脸图像 的第一多光谱 特征； 利用初始图像光谱迁移模型 生成第一人脸图像对应的合 成人脸图像； 计算合 成人脸图像和第一人脸图像之间的人脸损失以 及合成人脸图像和第二人脸图像之间的多光谱 损失； 根据人脸损失和多光谱损失， 对初始图像 光谱迁移模 型进行迭代训练， 获得目标图像光谱 迁移模型。 通过图像光谱迁移模 型可以减少活体 检测模型的训练数据的采集数量， 提升开发效 率。 权利要求书3页 说明书13页 附图6页 CN 115527256 A 2022.12.27 CN 115527256 A 1.一种图像光谱迁移模型的训练方法， 其特 征在于， 包括： 获取第一人脸图像和第 二人脸图像， 所述第 一人脸图像和所述第 二人脸图像均为多光 谱图像， 其中， 所述第一人脸图像和所述第二人脸图像的光照数据不同， 或所述第一人脸图 像为活体的人脸图像且所述第二人脸图像为 假体的人脸图像； 提取所述第一人脸图像的第一人脸特 征及提取 所述第二人脸图像的第一多光谱特 征； 利用初始图像光谱迁移模型生成所述第一人脸图像对应的合成人脸图像； 计算所述合成人脸图像和所述第 一人脸图像之间的人脸损失， 及计算所述合成人脸图 像和所述第二人脸图像之间的多光谱损失； 根据所述人脸损 失和所述多光谱损 失， 对所述初始图像光谱迁移模型进行迭代训练， 获得目标图像光谱迁移模型。 2.如权利要求1所述的训练方法， 其特征在于， 当所述第 一人脸图像及所述第 二人脸图 像均对应活体或假体， 且所述第一人脸图像和所述第二人脸图像中的光照数据不同时， 通 过所述目标图像光谱迁移模型生成的合成人脸图像包括所述第一人脸图像中的人脸及所 述第二人脸图像中的光照数据； 当所述第一人脸图像为活体的人脸图像， 所述第二人脸图像为假体的人脸图像， 且所 述第一人脸图像与所述第二人脸图像中的光照数据相同时， 通过所述目标图像光谱迁移模 型生成的合成人脸图像为所述活体对应的假体的人脸图像。 3.如权利要求1所述的训练方法， 其特征在于， 所述提取所述第 一人脸图像的第 一人脸 特征及提取 所述第二人脸图像的第一多光谱特 征， 包括： 利用第一卷积神经网络模型提取所述第 一人脸图像中人脸的人脸特征数据， 得到所述 第一人脸特 征； 利用第二卷积神经网络模型提取所述第 二人脸图像中人脸的多光谱数据， 得到所述第 一多光谱特 征。 4.如权利要求1所述的训练方法， 其特征在于， 所述计算所述合成人脸图像和所述第 一 人脸图像之 间的人脸损失， 及计算所述合成人脸图像和所述第二人脸图像之间的多光谱损 失， 包括： 利用第三卷积神经网络提取 所述合成人脸图像的第二人脸特 征及第二多光谱特 征； 计算所述第 一人脸特征和所述第 二人脸特征之间的人脸损失， 及计算所述第 一多光谱 特征与所述第二多光谱特 征之间的多光谱损失。 5.如权利要求4所述的训练方法， 其特征在于， 所述计算所述第 一人脸特征和所述第 二 人脸特征之间的人脸损失， 包括： 计算所述第一人脸特 征与所述第二人脸特 征中对应的每 个子特征之间的欧式距离； 所述计算所述第一多光谱特 征与所述第二多光谱特 征之间的多光谱损失， 包括： 计算所述第 一多光谱特征中每个子特征对应的第一Gram矩阵、 和所述第二多光谱特征 中每个子特征对应的第二Gram矩阵； 计算每个子特征对应的所述第一Gram矩阵和所述第二Gram矩阵之间的欧式距离 。 6.如权利要求1所述的训练方法， 其特征在于， 所述根据 所述人脸损失和所述多光谱损 失， 对所述初始图像光谱迁移模型进行迭代训练， 获得目标图像光谱迁移模型， 包括： 对所述人脸损失和所述多光谱损失进行加权求和得到总损失；权　利　要　求　书 1/3 页 2 CN 115527256 A 2根据所述总损失， 计算所述初始图像光谱迁移模型的迭代梯度； 将所述迭代梯度反 向传播至所述初始图像光谱迁移模型的输入层， 以更新所述合成人 脸图像； 当第N次迭代后计算得到的所述总损失小于或等于预设阈值时， 或迭代次数N大于或等 于预设次数时， 确定对应的图像光谱迁移模型为所述目标图像光谱迁移模型。 7.一种图像光谱迁移方法， 其特 征在于， 包括： 获取第三人脸图像； 将所述第三人脸图像输入图像光谱迁移模型， 得到所述第 三人脸图像对应的第四人脸 图像， 所述第四人脸图像中的人脸与所述第三人脸图像中的人脸相同， 所述第四人脸图像 中的多光谱数据与所述第三人脸图像中的多光谱数据不同； 其中， 所述图像光谱迁移模型 通过如权利要求1至 6任一项所述的图像光谱迁移模型的训练方法训练得到 。 8.一种活体 检测模型的训练方法， 其特 征在于， 包括： 获取第一人脸图像集， 所述第一人脸图像集包括多张第五人脸图像； 将所述第一人脸图像集输入图像光谱迁移模型， 得到所述第 一人脸图像集对应的第 二 人脸图像集， 所述第二人脸图像集包括多张第六人脸图像， 所述多张第六人脸图像与所述 多张第五人脸图像一一对应， 且一一对应的所述第六人脸图像与所述第五人脸图像中的人 脸相同而多光谱数据不同； 其中， 所述图像光谱迁移模型通过权利要求1至6任一项所述的 图像光谱迁移模型的训练方法训练得到； 将所述第一人脸图像集及所述第 二人脸图像集输入活体检测模型， 对所述活体检测模 型进行训练， 得到目标活体 检测模型。 9.一种图像光谱迁移模型的训练装置， 其特 征在于， 包括： 获取模块， 用于获取第一人脸图像和第二人脸图像， 所述第一人脸图像和所述第二人 脸图像均为多光谱图像， 其中， 所述第一人脸图像和所述第二人脸图像的光照数据不同， 或 所述第一人脸图像为活体的人脸图像且所述第二人脸图像为 假体的人脸图像； 提取模块， 用于提取所述第 一人脸图像的第 一人脸特征及提取所述第 二人脸图像的第 一多光谱特 征； 生成模块， 用于利用初始图像光谱迁移模型生成所述第 一人脸图像对应的合成人脸图 像； 计算模块， 用于计算所述合成人脸图像和所述第一人脸图像之间的人脸损 失， 及计算 所述合成人脸图像和所述第二人脸图像之间的多光谱损失； 迭代训练模块， 用于根据所述人脸损 失和所述多光谱损 失， 对所述初始图像光谱迁移 模型进行迭代训练， 获得目标图像光谱迁移模型。 10.一种图像光谱迁移装置， 其特 征在于， 包括： 获取模块， 用于获取第三人脸图像； 光谱迁移模块， 用于将所述第三人脸图像输入图像光谱迁移模型， 得到所述第三人脸 图像对应的第四人脸图像， 所述第四人脸图像中的人脸与所述第三人脸图像中的人脸相 同， 所述第四人脸图像中的多光谱数据与所述第三人脸图像中的多光谱数据不同； 其中， 所 述图像光谱迁移模型通过如权利要求1至6任一项所述的图像光谱迁移模型 的训练方法训 练得到。权　利　要　求　书 2/3 页 3 CN 115527256 A 3