(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211471437.4 (22)申请日 2022.11.23 (71)申请人 华中科技大 学 地址 430074 湖北省武汉市洪山区珞喻路 1037号 (72)发明人 喻莉　尚子桥　 (74)专利代理 机构 华中科技大 学专利中心 42201 专利代理师 夏倩　李智 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/20(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/25(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于注意力机制的面部AU检测模型建立方 法及其应用 (57)摘要 本发明公开了基于注意力机制的面部AU检 测模型建立方法及其应用， 属于计算机视觉技术 领域， 包括： 建立面部AU检测模型并训练； 模型包 括： 多尺度特征提取网络， 用于从人脸图像中提 取全局人脸特征图； 多尺度注意力图生成网络， 用于生成AU特征； 以及AU检测网络， 用于根据AU 特征预测各AU出现的概率； 多尺度注意力图生成 网络中， 三个分支分别用于生成局部AU尺度、 时 间关联尺度和人脸ROI尺度的注意力图并作用于 全局人脸特征图， 得到对应特征图后进行特征提 取并融合， 最后一个分支对全局尺度人脸特征图 进行特征提取， 特征级 联模块用于将各分支生成 的特征图按 通道级联为AU特征。 本发明能够准确 利用AU间的相关性， 提高AU检测精度。 权利要求书3页 说明书15页 附图2页 CN 115546878 A 2022.12.30 CN 115546878 A 1.一种基于注意力 机制的面部AU检测模型建立方法， 其特征在于， 包括： 建立端到端的 初始神经网络模型并对其进行训练， 得到所述面部AU检测模型； 训练数据由已标注AU标签 和人脸关键点标签的人脸图像构成； 所述初始神经网络模型包括： 多尺度特征提取网络， 用于从包含人脸的输入图像中提取全局人脸特征图； 所述全局 人脸特征图包含全局人脸结构和上 下文特征； 多尺度注意力图生成网络， 包括： 局部AU分支、 时间关联尺度分支、 全局分支以及特征 级联模块； 所述局部AU分支， 用于获得所述全局人脸特征图中每一个像素对于每一个AU的 注意力权重， 并融合到所述全局人脸特征图中， 得到局部AU尺度特征图； 所述时间关联尺度 分支， 用于检测共同出现或共同不出现的频率最高的部 分AU对， 作为关联AU对， 并获得所述 全局人脸特征图中每一个像素对于每一个 关联AU对的注意力权重， 融合到所述全局人脸特 征图中， 得到时间关联尺度局部特征图； 所述全局分支， 用于对所述全局人脸特征图进行特 征学习， 得到全局尺度特征图； 所述特征级联模块， 用于将多尺度 注意力图生成网络中各分 支生成的注意力图按通道级联， 得到AU特 征； 以及AU检测网络， 用于根据所述AU特 征预测各AU出现的概 率。 2.如权利要求1所述的基于注意力机制的面部AU检测模型建立方法， 其特征在于， 检测 共同出现或共同不出现的频率 最高的部分AU对， 作为关联AU对， 包括： 建立AU之间的相关矩阵A， 其中第i行第j列的元素Aij表示第i个AU与第j个AU之间的关 系系数； 按照Ri,j=Aij+Aji计算第i个AU与第j个AU之间的时间关联系数Ri,j， i≠j； 按照时间关联 系数从大到小的顺序对AU对排序， 并遍历排序后的AU对， 若所遍历到的AU对中的两个AU均 未与其它AU构成关联AU对， 则将当前 所遍历到的AU对作为关联AU对； 第i个AU与第j个AU之间的关系 系数Aij的计算式为： 其中， ai=1表示第i个AU出现， ai=0表示第i个AU不出现； aj=1表示第j个AU出现， aj=0表示 第j个AU不出现 ； 表示第j个AU出现时 ， 第i个AU出现的概率 ； 表示第j个AU不出现时， 第i个AU不出现的概 率。 3.如权利要求1或2所述的基于注意力机制的面部AU检测模型建立方法， 其特征在于， 获得所述全局人脸特 征图中每一个 像素对于每一个AU的注意力权 重， 包括： 根据所述全局人脸特 征图中的人脸关键点 坐标预定义各AU的中心位置； 按照如下公式计算第k个 像素对于第i个AU的注意力权 重vik：权　利　要　求　书 1/3 页 2 CN 115546878 A 2其中，dik表示第k个像素相对于第i个AU中心的曼哈顿距离， lmap表示预先定义的区域边 长；Nau表示AU总数。 4.如权利要求3所述的基于注意力机制的面部AU检测模型建立方法， 其特征在于， 获得 所述全局人脸特 征图中每一个 像素对于每一个关联AU对的注意力权 重， 包括： 对于第p个关联AU对， 分别获得第k个像素相对于第p个关联AU对中的两个AU的注意力 权重， 将其中的最大值作为第k个 像素相对于第p个关联AU对的注意力权 重vpk； 其中， p=1,2 …,Ntem，Ntem表示关联AU对总数。 5.如权利要求4所述的基于注意力机制的面部AU检测模型建立方法， 其特征在于， 所述 多尺度注意力图生成网络还 包括： 人脸ROI尺度分支， 用于检测位于同一个感兴趣区域的AU， 并获得所述全局人脸特征图 中每一个像素对于每一个感兴趣区域的注意力权重， 融合到所述全局注意力图中， 得到人 脸ROI尺度局部特 征图； 获得所述全局人脸特 征图中每一个 像素对于每一个感兴趣区域的注意力权 重， 包括： 对于第q个感兴趣区域， 分别获得第k个像素相对于第q个感兴趣区域中的每一个AU的 注意力权 重， 将其中的最大值作为第k个 像素相对于第q个感兴趣区域的注意力权 重vqk； 其中， q=1,2 …,Nroi，Nroi表示感兴趣区域总数。 6.如权利要求5所述的基于注意力机制的面部AU检测模型建立方法， 其特征在于， 所述 局部AU分支包括： 局部AU尺度注意力图生成模块， 用于识别 Nau个AU， 并生成与 Nau个AU一一对应的 Nau个局 部AU尺度注意力图后， 分别作用于所述全局人脸 特征图， 得到 Nau个第一局部特征图； 每个局 部AU尺度注意力图由所述全局人脸特 征图中每一个 像素对于AU的注意力权 重构成； 第一编码器， 用于对所述 Nau个第一局部特 征图进行 特征提取； 第一投影模块， 用于将所述第一编码器提取到的特征融合到一张特征图中， 并进行像 素级放大， 得到局部AU尺度特 征图； 所述时间关联尺度分支包括： 时间关联尺度注意力图生成模块， 用于检测 Ntem个关联AU对， 生成与 Ntem个关联AU对一 一对应的 Ntem个时间关联尺度注意力图后， 分别作用于所述全局人脸特征图， 得到 Ntem个第 二局部特征图； 每个时间关联尺度注意力图由所述全局人脸特征图中每一个像素对于 关联 AU对的注意力权 重构成； 第二编码器， 用于对所述 Ntem个第二局部特 征图进行 特征提取； 第二投影模块， 用于将所述第二编码器提取到的特征融合到一张特征图中， 并进行像 素级放大， 得到时间关联尺度局部特 征图； 所述人脸ROI尺度分支包括： 人脸ROI尺度注意力图生成模块， 用于检测位于同一个感兴趣区域的AU， 并生成与 Nroi 个感兴趣区域一一对应的人脸 ROI尺度注意力图后， 分别作用于所述全局人脸特征图， 得到 Nroi个第三局部特征图； 每个人脸 ROI尺度注意力图由所述全局人脸特征图中每一个像素对权　利　要　求　书 2/3 页 3 CN 115546878 A 3