(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211211615.X (22)申请日 2022.09.30 (71)申请人 南方科技大 学 地址 518055 广东省深圳市南 山区西丽学 苑大道1088号 (72)发明人 曾媛　贡毅　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 王浩 (51)Int.Cl. G06T 5/00(2006.01) G06V 40/16(2022.01) G06V 10/80(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) (54)发明名称 一种人脸图像修复方法、 系统、 设备及存储 介质 (57)摘要 本发明公开了一种人脸图像修复方法、 系 统、 设备及存储介质， 本方法获取待修复人脸图 像和示例图像， 将待修复人脸图像输入至二维卷 积神经网络的编码器中， 获得多个编码特征； 通 过二维卷积神经网络的解码器将多个编码特征 进行解码， 获得多个解码特征； 将多个解码特征 进行融合， 获得粗修复人脸图像； 提取粗修复人 脸图像和示例图像中多个尺度的像素神经特征； 根据粗修复人脸图像和示例图像中的多个尺度 的像素神经特征， 从示例图像中获得与粗修复人 脸图像中的目标域像素块最相似的像素块； 基于 最相似的像素块， 对粗修复人脸图像进行精细修 复， 获得精修复图像。 本发明能够提升人脸图像 修复后的真实度， 提升人脸图像修复的质量。 权利要求书3页 说明书9页 附图2页 CN 115439371 A 2022.12.06 CN 115439371 A 1.一种人脸图像修复方法， 其特 征在于， 所述人脸图像修复方法包括： 获取待修复人脸图像和示例图像， 将所述待修复人脸图像输入至二维卷积神经网络的 编码器中， 获得多个编码特 征； 通过所述二维卷积神经网络的解码器将多个所述编码特征进行解码， 获得多个解码特 征； 将多个所述 解码特征进行融合， 获得粗 修复人脸图像； 提取所述粗修复人脸图像和所述 示例图像中多个尺度的像素神经 特征； 根据所述粗修复人脸图像和所述示例图像中的所述多个尺度的像素神经特征， 从所述 示例图像中获得与所述 粗修复人脸图像中的目标域像素块 最相似的像素块； 基于所述 最相似的像素块， 对所述 粗修复人脸图像进行精细修复， 获得精修复图像。 2.根据权利要求1所述的人脸图像修复方法， 其特征在于， 所述将所述待修复人脸图像 输入至二维卷积神经网络的编码器中， 获得多个编码特 征， 包括： 将所述待修复人脸图像的RGB图像输入至所述二维卷积神经网络的编码器中， 以使所 述二维卷积神经网络的编码器基于多尺度变换将所述RGB图像变换为三个尺度的图像； 并 将每个尺度的图像映射到神经特征空间， 采用全连接层对神经特征进行编码， 获得多个编 码特征。 3.根据权利要求1所述的人脸图像修复方法， 其特征在于， 所述二维卷积神经网络通过 以下方式训练得到： 构建所述 二维卷积神经网络的损失函数： 其中， 表示二维卷积神经网络， w表示二维卷积神经网络 中的网络参数， M表示二进 制掩码， (x(i),y(i) )表示二维卷积神经网络中的第i组输入与输出对； 通过最小化所述损失函数训练所述 二维卷积神经网络 。 4.根据权利要求1所述的人脸图像修复方法， 其特征在于， 所述提取所述粗修复人脸图 像和所述 示例图像中多个尺度的像素神经 特征， 包括： 将所述粗修复人脸图像和所述 示例图像输入至Ima geNet预训练的VG G‑19模型中； 通过所述ImageNet预训练的VGG ‑19模型提取所述粗修复人脸图像中多个尺度的第一 像素神经 特征； 通过所述ImageNet预训练的VGG ‑19模型提取所述示例图像中多个尺度的第二像素神 经特征。 5.根据权利要求4所述的人脸图像修复方法， 其特征在于， 所述根据所述粗修复人脸图 像和所述示例图像中的所述多个尺度的像素神经特征， 从所述示例图像中获得与所述粗修 复人脸图像中的目标域像素块 最相似的像素块， 包括： 采用余弦相似度度量所述粗修复人脸图像中的所述第一像素神经特征和所述示例图 像中的所述第二像素神经 特征之间的相似度： 权　利　要　求　书 1/3 页 2 CN 115439371 A 2其中， 表示距离函数， 所述距离函数为计算所述粗修复人脸图像中像素p与 所述示例图像中像素n之间的相似度， 表示所述粗修复人脸图像中 的所述第一像素神经 特征， 表示所述 示例图像中的所述第二像素神经 特征； 以所述像素p为中心取第一预设尺寸的目标域像素块； 基于所述像素p与所述像素n之间的相似度， 计算所述示例图像中与所述目标域像素块 最相似的像素块： 其中， q表示 最相似像素。 6.根据权利要求5所述的人脸图像修复方法， 其特征在于， 所述基于所述最相似的像素 块， 对所述 粗修复人脸图像进行精细修复， 获得精修复图像， 包括： 以所述示例图像中的最相似像素q为中心取第二预设尺寸的像素块， 计算所述示例图 像中的高频损失信息： 其中， ye表示完整的示例图像， 表示粗修复的示例图像； 对于所述粗 修复人脸图像 中的任意像素p， 采用所述高频损失信息对所述 粗修复人脸 图像 进行精细修复： 其中， 表示精修复结果； 基于所述精修复结果， 获得精修复图像。 7.一种人脸图像修复系统， 其特 征在于， 所述人脸图像修复系统包括： 编码特征获取单元， 用于获取待修复人脸图像和示例图像， 将所述待修复人脸图像输 入至二维卷积神经网络的编码器中， 获得多个编码特 征； 解码特征获取单元， 用于通过所述二维卷积神经网络的解码器将多个所述编码特征进 行解码， 获得多个解码特 征； 图像粗修复单元， 用于将多个所述 解码特征进行融合， 获得粗 修复人脸图像； 神经特征获取单元， 用于提取所述粗修复人脸图像和所述示例图像中多个尺度的像素 神经特征； 像素块获取单元， 用于根据 所述粗修复人脸图像和所述示例图像中的所述多个尺度的 像素神经特征， 从所述示例图像中获得与所述粗修复人脸图像中的目标域像素块最相似的 像素块； 图像精修复单元， 用于基于所述最相似的像素块， 对所述粗修复人脸图像进行精细修 复， 获得精修复图像。 8.根据权利要求7所述的一种人脸图像修复系统， 其特征在于， 所述图像精修复单元包 括高频损失信息计算单 元、 精细修复单 元以及精修复图像获取 单元， 其中： 所述高频损 失信息计算单元， 用于以所述示例图像中的最相似像素q为中心取第二预 设尺寸的像素块， 计算所述 示例图像中的高频损失信息：权　利　要　求　书 2/3 页 3 CN 115439371 A 3