(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211451704.1 (22)申请日 2022.11.21 (71)申请人 珠海亿智电子科技有限公司 地址 519000 广东省珠海市高新区唐家湾 镇港乐路8号大洲科技园B区厂房803 室 (72)发明人 殷绪成　黄智勇　陈松路　刘琦　 张崇建　陈峰　 (74)专利代理 机构 深圳青年人专利商标代理有 限公司 4 4350 专利代理师 吴桂华 (51)Int.Cl. G06T 7/73(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 40/10(2022.01) G06V 40/20(2022.01) (54)发明名称 一种二维手部姿态估计方法、 装置、 设备及 存储介质 (57)摘要 本发明适用计算机技术领域， 提供了一种二 维手部姿态估计方法、 装置、 设备及存储介质， 该 方法包括： 对输入的二维手部图像进行下采样和 浅层特征提取， 得到二维手部图像对应的浅层特 征图； 对浅层特征图进行多尺度的深层特征提 取， 得到多尺度深度特征图； 对多尺度深度特征 图进行上采样和特征融合， 得到二维手部图像对 应的结构特征图； 根据结构特征图生成关键点高 斯热图， 根据关键点高斯热图获取二维手部关键 点坐标， 以实现二维手部的姿态估计， 从而实现 了二维手 部姿态的准确估计 。 权利要求书2页 说明书8页 附图7页 CN 115511968 A 2022.12.23 CN 115511968 A 1.一种二维手部姿态估计方法， 其特 征在于， 所述方法包括下述 步骤： 对输入的二维手部图像进行下采样和浅层特征提取， 得到所述二维手部图像对应的浅 层特征图； 对所述浅层特 征图进行多尺度的深层特 征提取， 得到多尺度深度特 征图； 对所述多尺度深度特征图进行上采样和特征融合， 得到所述二维手部图像对应的结构 特征图； 根据所述结构特征图生成关键点高斯热图， 根据 所述关键点高斯热图获取二维手部关 键点坐标， 以实现二维手部的姿态估计。 2.如权利要求1所述的方法， 其特征在于， 对输入的二维手部图像进行下采样和浅层特 征提取的步骤， 包括： 对所述二维手部图像进行 下采样， 并增 加所述二维手部图像的通道维度。 3.如权利要求2所述的方法， 其特征在于， 通过前处理网络对所述二维手部图像进行下 采样， 并增 加所述二维手部图像的通道维度； 所述前处理网络包括第一卷积层、 第二卷积层、 第三卷积层、 第 四卷积层、 第一深度卷 积层以及第一最大池化层， 所述第一卷积层的输入为所述二维手部图像， 所述第一卷积层 的输出经批归一化和激活函数 处理后作为所述第一深度卷积层的输入， 所述第一深度卷积 层的输出经批归一化和激活函数处理后作为所述第二卷积层和 第一最大池化层的输入， 所 述第二卷积层的输出经批归一化和激活函数处理后作为所述第三卷积层的输入， 所述第三 卷积层的输出经批归一化和激活函数 处理后和 第一最大池化层的输出作级联， 级联结果作 为所述第四卷积层的输入， 所述第四卷积层的输出作为所述前处 理网络的输出。 4.如权利要求1所述的方法， 其特征在于， 通过编码器对所述浅层特征图进行多尺度的 深层特征提取； 所述编码器包括第一特征图提取单元、 第二特征图提取单元、 第三特征图提取单元以 及第四特征图提取单元， 所述第一特征图提取单元 的输入为所述浅层特征图， 所述第二特 征图提取单元的输入为所述第一特征图提取单元的输出， 所述第三特征图提取单元的输入 为所述第二特征图提取单元的输出， 所述第四特征图提取单元的输入为所述第三特征图提 取单元的输出。 5.如权利要求4所述的方法， 其特征在于， 所述第 一特征图提取单元用于从所述浅层特 征图中提取感受野不同的图像特 征， 并对提取的图像特 征进行筛 选； 所述第一特征图提取单元包括第 一多感受野特征提取模块以及第 一通道注意力模块， 其中： 所述第一多感受野特征提取模块包括第五卷积层、 第六卷积层、 第一深度可分离卷积 模块、 第二深度可分离卷积模块、 第三深度可分离卷积模块以及第四深度可分离卷积模块， 所述第五卷积层的输入为所述浅层特征图， 所述第五卷积层的输出作为所述第一深度可分 离卷积模块和 第二深度可分离卷积模块的输入， 所述第一深度可分离卷积模块和 第二深度 可分离卷积模块的级联结果作为所述第三深度可分离卷积模块和第四深度可分离卷积模 块的输入， 所述第三深度可分离卷积模块和 第四深度可分离卷积模块的级联结果与所述第 五卷积层的输出进行相加操作后得到相加结果， 该相加结果经批归一化和激活函数处理后 作为所述第六卷积层的输入， 所述第六卷积层的输出作为所述第一多感受野特征提取模块权　利　要　求　书 1/2 页 2 CN 115511968 A 2的输出； 所述第一通道注意力模块包括自适应平均池化层、 第二深度卷积层以及全连接层， 所 述自适应平均池化层的输入为所述第一多感受野特征提取模块的输出， 所述自适应平均池 化层的输出经批归一化和激活函数 处理后作为所述第二深度卷积层的输入， 所述第二深度 卷积层的输出作为所述全连接层的输入， 所述全连接层的输出和所述第一多感受野特征提 取模块的输出作乘法操作后作为所述第一 通道注意力模块的输出。 6.如权利要求4所述的方法， 其特征在于， 通过解码器对所述多尺度深度 特征图进行上 采样和特 征融合， 所述 解码器包括： 所述解码器包括第五特征图提取单元、 第六特征图提取单元、 第七特征图提取单元以 及第八特征图提取单元， 所述第五特征图提取单元的输入为所述第四特征图提取单元的输 出， 所述第六特征图提取单元的输入为所述第一特征图提取单元的输出经自适应池化后与 所述第五特征图提取单元的输出的相加操作结果， 所述第七特征图提取单元的输入为所述 第六特征图提取单元的输出与所述第三特征图提取单元的输出的相加操作结果， 所述第八 特征图提取单元 的输入为所述第七特征图提取单元的输出与所述第二特征图提取单元的 输出的相加操作结果， 所述第八特征图提取单元的输出和所述第一特征图提取单元的输出 作加法操作后作为所述 解码器的输出。 7.如权利要求6所述的方法， 其特征在于， 所述第八特征图提取单元包括第 二多感受野 特征提取模块以及第二 通道注意力模块。 8.一种二维手部姿态估计装置， 其特 征在于， 所述装置包括： 第一特征提取单元， 用于对输入的二维手部 图像进行下采样和浅层特征提取， 得到所 述二维手部图像对应的浅层特 征图； 第二特征提取单元， 用于对所述浅层特征图进行多尺度的深层特征提取， 得到多尺度 深度特征图； 第三特征提取单元， 用于对所述多尺度深度特征图进行上采样和特征融合， 得到所述 二维手部图像对应的结构特 征图； 以及 姿态估计单元， 用于根据所述结构特征图生成关键点高斯热图， 根据所述关键点高斯 热图获取二维手部关键点 坐标， 以实现二维手部的姿态估计。 9.一种图像处理设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理 器上运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1 至7任一项所述方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现如权利要求1至7任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115511968 A 3