(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211444408.9 (22)申请日 2022.11.18 (71)申请人 深圳聚邦云天科技有限公司 地址 518116 广东省深圳市龙岗区宝龙街 道宝龙社区宝龙三路4号欧帝光学有 限公司办公楼402 (72)发明人 夏雪　施国宁　施逸东　 (74)专利代理 机构 佛山粤进知识产权代理事务 所(普通合伙) 44463 专利代理师 耿鹏 (51)Int.Cl. G16H 20/30(2018.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06V 40/20(2022.01)G06V 20/40(2022.01) G06V 10/25(2022.01) G06V 10/82(2022.01) A61B 5/11(2006.01) (54)发明名称 一种基于物联网的人体运动过程姿态纠正 方法及系统 (57)摘要 本发明公开的一种基于物联网的人体运动 过程姿态纠正方法及系统， 包括： 通过智能终端 设备向目标用户提供动作提示信息， 获取目标用 户跟随动作练习过程中视频流信息、 雷达信息及 传感器信息； 将各个方向的视频流信息进行目标 对象人体骨架姿态节点提取， 进行粗定位的关节 点信息， 根据所述传感器信息获取目标用户十个 部位的传感数据得到目标用户关节点信息的弯 曲及受力状态， 进结合雷达数据进行关节点信息 的位置校准， 生成精确定位的关节点信息； 构建 人体姿态识别模 型， 得到目标用户动作姿态的规 范程度， 根据所述动作姿态的规范程度生成纠正 姿态的建议。 本发明通过分析用户运动过程中的 不规范动作生成纠正建议， 能够帮助用户减少运 动损伤。 权利要求书4页 说明书10页 附图6页 CN 115497596 A 2022.12.20 CN 115497596 A 1.一种基于物联网的人体运动过程姿态纠正方法， 其特 征在于， 包括以下步骤： 通过智能终端设备向目标用户提供动作提示信 息， 获取目标用户跟随动作练习过程中 视频流信息、 雷达信息及 传感器信息； 将各个方向的视频流信 息进行目标对象人体骨架姿态节点提取， 进行粗定位的关节点 信息； 根据所述传感器信息获取目标用户十个部位的传感数据得到目标用户关节点信息的 弯曲及受力状态， 进结合雷达数据进行关节点信息的位置校准， 生成精确定位的关节点信 息； 构建人体姿态识别模型， 得到目标用户动作姿态的规范程度， 根据所述动作姿态的规 范程度生成纠正姿态的建议及运动训练方案 。 2.根据权利要求1所述的一种基于物联网的人体运动过程姿态纠正方法， 其特征在于， 所述的获取目标用户跟随动作练习过程中视频流信息、 雷达信息及 传感器信息， 具体为： 获取用户跟随动作练习过程中四个方向的视频流信 息及雷达信 息， 通过布置在目标用 户身上十个部位的弯曲、 压力与应力传感器及陀螺 仪与距离传感器获取传感器信息； 将所述视频流信息、 雷达信息及传感器信息进行预处理， 根据视频流信息获取帧图像 数据， 提取帧图像数据中的感兴趣区域， 提取雷达信息中的回波 数据， 根据回波 数据获取距 离多普勒谱， 提取目标用户运动轨 迹； 将各关节点位上的传感器信 息进行数据融合实现频域上的精度互补， 根据传感器信 息 获取目标用户的各个关节点 位的受力状态。 3.根据权利要求1所述的一种基于物联网的人体运动过程姿态纠正方法， 其特征在于， 生成精确定位的关节点信息， 具体为： 通过视频流信息获取帧图像数据， 对目标用户进行目标识别并根据OpenPose算法进行 目标用户骨骼关键点检测， 并获取 各含有目标用户动作信息的帧图像数据的时间戳信息； 从目标用户骨骼关键点中获取布置在目标用户十个关节点部位的传感器在四个不同 视角下的位置信息， 将所述位置信息进行坐标变化生成关节点的三 维坐标信息及关节点间 的立体角度信息； 根据雷达信 息获取目标用户运动轨迹及回波能量信 息， 根据目标用户的运动轨迹提取 运动帧， 根据所述 运动帧的回波能量变化 生成目标用户姿态特 征； 通过所述时间戳信息将关节点的三维坐标信息及关节点间的立体角度信息与目标用 户的姿态特征进行匹配生成匹配度， 当所述匹配度满足预设匹配度阈值范围时， 则完成关 节点的粗定位； 根据所述雷达信 息获取关节点的实时位置信 息， 通过所述实时位置信 息及传感数据进 行关节点 位置信息的校正， 生成精确的关节点定位信息； 同时， 根据传感数据分析关节点的用力及受力状态， 结合关节点定位信息生成带有受 力信息和空间位置的关节点信息 。 4.根据权利要求1所述的一种基于物联网的人体运动过程姿态纠正方法， 其特征在于， 构建人体姿态 识别模型， 得到目标用户动作姿态的规范程度， 具体为： 根据关节点信 息获取带有受力信 息的关节点坐标生成数据集， 基于深度 学习构建人体 姿态识别模型， 通过 所述数据集对人体姿态 识别模型进行初始化训练；权　利　要　求　书 1/4 页 2 CN 115497596 A 2根据目标用户当前时间所对应的关节点信 息生成带有受力信 息的关节点坐标集合， 输 入到人体姿态识别模型进行特征提取， 将提取 的动作特征与预设动作进行相似度计算， 进 行目标用户当前动作的识别； 确定目标用户的动作信息后， 计算关节点与标准姿态关节点的相似度， 并将目标用户 各关节点之间的欧式距离及关节点的受力 信息与标准姿态进行对比， 生成偏差信息； 根据关节点的相似度及偏差信息得到目标用户动作姿态的规范程度。 5.根据权利要求1所述的一种基于物联网的人体运动过程姿态纠正方法， 其特征在于， 根据动作姿态的规范程度生成纠正姿态的建议及运动训练方案， 具体为： 根据训练动作 所锻炼的肌肉部位将当前运动训练计划中的动作进行分类， 根据目标用 户各个动作姿态的规范程度获取目标用户当前运动极限信息； 根据目标用户当前运动极限信 息确定当前运动训练计划中各动作的完成度情况， 根据 所述完成度情况评估当前运动训练计划与目标用户的适配度； 预设适配度阈值， 将所述适配度与适配度阈值进行对比判断， 若所述适配度大于适配 度阈值， 则根据当前运动训练计划中各动作的完成度生成动作替换建议， 根据动作替换建 议进行调整； 若所述适配度小于适配度阈值， 则根据目标用户当前运动极限信 息及身体基础信 息建 立数据索引， 通过大数据检索获取与所述数据索引相似度符合预设阈值标准的相似用户信 息对应的运动训练计划； 获取目标用户对所述相似用户信 息对应的运动训练计划的反馈信 息， 根据反馈信 息重 新制定运动训练计划。 6.根据权利要求1所述的一种基于物联网的人体运动过程姿态纠正方法， 其特征在于， 还包括： 根据目标用户的关节点信 息及关节点之间的连接关系生成无向关节点拓扑图， 根据动 作的分类信息结合关节点之间的约束关系判断各个动作在无向关节点拓扑图中的初始节 点； 通过图卷积神经网络根据所述初始节点的邻 接矩阵计算与邻 接节点的潜在 关系， 判断 邻接节点的重要程度； 根据邻接节点的重要程度进行关节点的筛选， 选取重要程度高的邻 接节点进行动作姿 态规范程度的评估。 7.一种基于物联网的人体运动过程姿态纠 正系统， 其特征在于， 该系统包括： 存储器、 处理器， 所述存储器中包括一种基于物联网的人体运动过程姿态纠正方法程序， 所述一种 基于物联网的人体运动过程姿态纠正方法程序被所述处 理器执行时实现如下步骤： 通过智能终端设备向目标用户提供动作提示信 息， 获取目标用户跟随动作练习过程中 视频流信息、 雷达信息及 传感器信息； 将各个方向的视频流信 息进行目标对象人体骨架姿态节点提取， 进行粗定位的关节点 信息； 根据所述传感器信息获取目标用户十个部位的传感数据得到目标用户关节点信息的 弯曲及受力状态， 进结合雷达数据进行关节点信息的位置校准， 生成精确定位的关节点信 息；权　利　要　求　书 2/4 页 3 CN 115497596 A 3