(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211273222.1 (22)申请日 2022.10.18 (71)申请人 河南科技大 学 地址 471023 河南省洛阳市洛龙区开元 大 道263号 (72)发明人 宋斌　张志勇　张中亚　张丽丽　 李玉祥　赵长伟　孔功胜　向菲　 荆军昌　毛岳恒　 (74)专利代理 机构 北京知艺互联知识产权代理 有限公司 16137 专利代理师 孟晨光 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01)G06V 10/26(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于注意力机制的卷积神经网络面部情绪 识别方法及系统 (57)摘要 本发明公开的基于注意力机制的卷积神经 网络面部情绪识别方法及系统， 包括收集人脸图 像数据， 按比例分为训练集和测试集； 将训练集 中的人脸图像数据输入卷积神经网络模型中进 行特征学习， 得到人脸面部情绪特征数据； 在测 试集中测试卷积神经网络模型， 优化所述卷积神 经网络模型的参数； 将待识别的人脸图像数据输 入优化后的卷积神经网络模型中， 得到情绪分类 结果； 本发明能够实现识别用户情绪的变化， 提 高用户情绪识别的准确率， 通过卷积神经网络的 人脸微表情动作检测， 利用多个卷积和池化层提 高检测准确率， 避免有效动作单元遗漏， 提高了 人脸识别的精度， 从而可以大大增加人脸识别的 可信度。 权利要求书2页 说明书6页 附图3页 CN 115512422 A 2022.12.23 CN 115512422 A 1.基于注意力机制的卷积神经网络面部情绪识别方法， 其特 征在于： 包括： 收集人脸图像数据， 按比例分为训练集和 测试集； 将训练集中的人脸图像数据输入卷积神经网络模型中进行特征学习， 得到人脸面部情 绪特征数据； 在测试集中测试 卷积神经网络模型， 优化所述卷积神经网络模型的参数； 将待识别的人脸图像数据输入 优化后的卷积神经网络模型中， 得到情绪分类结果。 2.根据权利要求1所述的基于注意力机制的卷积神经网络面部情绪识别方法， 其特征 在于： 所述将训练集中的人脸图像数据输入卷积神经网络模型中进行特征学习， 得到人脸 面部情绪特 征数据， 具体包括： 将各权值、 阈值， 置成小的接近于0的随机值， 并初始化精度控制参数eps＝1e ‑15和学 习率0.05； 从训练集中取一个输入模式加到网络， 输入模式与每层的权值矩阵进行点乘运算， 从 而计算出 各层输出， 并给 出它的输出向量； 将输出向量中的元 素与目标向量中的元 素进行比较， 计算出 各层残差、 权值和阈值； 当模型平均准确率满足95％时保存 模型。 3.根据权利要求1所述的基于注意力机制的卷积神经网络面部情绪识别方法， 其特征 在于： 所述将待识别的人脸图像数据输入优化后的卷积神经网络模型中， 得到所述人脸图 像的面部情绪特 征数据之前， 包括： 采集待识别的人脸图像数据； 对所述人脸图像进行灰度转换， 对灰度转换后的人脸图像进行长宽尺寸的校正， 使所 述人脸图像的长 宽调整至预设的尺寸； 对所述人脸图像按照预设的人脸部位 规则进行分割， 并对分割的部位进行 标记。 4.根据权利要求3所述的基于注意力机制的卷积神经网络面部情绪识别方法， 其特征 在于： 所述将待识别的人脸图像数据输入优化后的卷积神经网络模型中， 得到所述人脸图 像的面部情绪特 征数据， 具体包括： 将分割并标记后的人脸图像数据输入到训练好的卷积神经网络模型中； 对标记的部位进行计算， 综合所有部位的计算结果， 得到在不同情绪下面部情绪特征 的得分； 将分值进行排序， 最高分数对应的情绪即为待识别人脸图像数据的情绪分类结果。 5.根据权利要求1所述的基于注意力机制的卷积神经网络面部情绪识别方法， 其特征 在于： 所述卷积神经网络模型包括2个卷积层包括卷积层1和卷积层2； 2个池化层包括池化 层1和池化层2； 2个全连接层包括全连接层1和全连接层2以及1个Softmax层。 6.根据权利要求5所述的基于注意力机制的卷积神经网络面部情绪识别方法， 其特征 在于： 所述卷积层1的卷积核数设为16， 卷积核模板的大小为3 ×3， 卷积层1后连接偏置层、 激活函数层和池化层1， 其中池化层1的池化核模板大小设为2 ×2； 卷积层2的卷积核 数设为 32， 卷积核大小为3 ×3； 池化层2的池化核大小设为2 ×2； 全连接层1的特征向量维度设为 2048， 全连接层2的特 征向量维度设为512； Softmax层的特 征向量维度为7类。 7.基于注意力机制的卷积神经网络面部情绪识别系统， 其特 征在于： 包括： 样本收集单 元： 收集人脸图像数据， 按比例分为训练集和 测试集；权　利　要　求　书 1/2 页 2 CN 115512422 A 2卷积计算单元： 将训练集中的人脸图像数据输入卷积神经网络模型中进行特征学习， 得到人脸 面部情绪特 征数据； 优化单元： 在测试集中测试 卷积神经网络模型， 优化所述卷积神经网络模型的参数； 识别单元： 将待识别的人脸图像数据输入优化后的卷积神经网络模型中， 得到情绪分 类结果。 8.根据权利要求7所述的基于注意力机制的卷积神经网络面部情绪识别系统， 其特征 在于： 所述卷积计算单 元， 具体包括： 初始化单元； 将各权值、 阈值， 置成小的接近于0的随机值， 并初始化精度控制参数eps ＝1e‑15和学习率0.0 5； 第一计算单元： 从训练集中取一个输入模式加到网络， 输入模式与每层的权值矩阵进 行点乘运 算， 从而计算出 各层输出， 并给 出它的输出向量； 第二计算单元： 将输出向量中的元素与目标向量中的元素进行比较， 计算出各层残差、 权值和阈值； 存储单元： 当模型平均准确率满足95％时保存 模型。 9.根据权利要求7所述的基于注意力机制的卷积神经网络面部情绪识别系统， 其特征 在于： 包括： 采集单元： 采集待识别的人脸图像数据； 处理单元： 对所述人脸图像进行灰度转换， 对灰度转换后的人脸图像进行长宽尺寸的 校正， 使所述人脸图像的长 宽调整至预设的尺寸； 标记单元： 对所述人脸图像按照预设的人脸部位规则进行分割， 并对分割的部位进行 标记。 10.根据权利要求9所述的基于注意力机制的卷积神经网络面部情绪识别系统， 其特征 在于： 所述识别单 元包括： 分割单元： 将分割并标记后的人脸图像数据输入到训练好的卷积神经网络模型中； 第三计算单元： 对标记的部位进行计算， 综合所有部位的计算结果， 得到在不同情绪下 面部情绪特 征的得分； 排序单元： 将分值进行排序， 最高分数对应的情绪即为待识别人脸图像数据的情绪分 类结果。权　利　要　求　书 2/2 页 3 CN 115512422 A 3