(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211323928.4 (22)申请日 2022.10.26 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新西区西源 大道2006号 (72)发明人 苏畅　郭高余　吕琳媛　 (74)专利代理 机构 成都点睛专利代理事务所 (普通合伙) 51232 专利代理师 孙一峰 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/764(2022.01) G06V 10/46(2022.01) G06Q 10/06(2012.01) (54)发明名称 一种队列式跳伞训练动作识别与评分的方 法 (57)摘要 本发明属于视频处理技术领域， 具体涉及一 种队列式跳伞训练动作识别与评分的方法。 本发 明通过录制视频的形式使训练过程可追溯， 有利 于教练反复观看 分析， 学员通过视频看到自己的 训练动作； 通过深度摄像头录制的视频， 结合图 像深度信息， 分析视频中训练对象的姿态并评估 其动作标准程度， 有利于避免教练主观因素导致 的差异； 利用目标跟踪、 动作识别、 训练空间标定 的方法锁定训练目标降低在多人场景下无关人 员对视频分析的干扰因素； 基于上述的目标锁定 方法还能够 做到实时对锁定的学员分析， 最终将 视频分割为各自学员的单人视频片段并生成各 自的评估报告， 有利于减少等待分析结果的时间 并提高训练效率。 权利要求书2页 说明书6页 附图5页 CN 115497170 A 2022.12.20 CN 115497170 A 1.一种队列式跳伞训练动作识别与评分的方法， 其特 征在于， 包括： S1、 设置深度摄 像头用于采集跳伞训练的视频和点云图； S2、 在训练开始时开启深度摄像头， 针对训练区域对摄像头参数进行标定以获得尽可 能小的标定空间； S3、 在训练开始后通过深度摄像头采集视频流和每一帧对应的点云信息， 获得连续的 时序数据； S4、 根据姿态动作寻找在训目标进行锁定， 若锁定目标则进入S5， 否则在与视频同步的 数据序列中记录所处阶段为无关阶段， 关键点数据为25 *3的0矩阵并重复S4； S5、 对锁定目标进行持续跟踪， 记录开始锁定时在第Ns帧， 记录目标每一帧的姿态关键 点坐标所对应的三维坐标， 并记录该目标每一帧由动作识别模型识别的动作所处阶段， 并 判断目标 是否离开标定空间， 若是则离开时同时记录此时在第Ne帧后进入S6， 否则重复S5； S6、 对目标进行评分并判断训练是否结束， 若是， 则进入S7， 否则回到S4； S7、 将获得的视频分割为单个学员各自的训练片段并关联 各自的评分报告后输出。 2.根据权利要求1所述的一种队列式跳伞训练动作识别与评分的方法， 其特征在于， S1 中， 将跳伞过程分解为出舱、 降落、 着陆三个部分， 则深度摄像头的位置根据不同的部分对 应进行设置 。 3.根据权利要求1所述的一种队列式跳伞训练动作识别与评分的方法， 其特征在于， S2 中获得标定空间的具体方法是： 通过深度摄像头对待训学员初始位置在二维图像中所在区 域进行标定， 同时使得 标定区域在训练过程刚好覆盖待训学员。 4.根据权利要求1所述的一种队列式跳伞训练动作识别与评分的方法， 其特征在于， S4 中根据姿态动作寻找在训目标进行锁定的具体方法为： 利用目标跟踪模型跟踪出现在当前画面中的所有人员， 赋予每个人员唯一的IDj， 并获 得一个仅能覆盖该人员的掩膜Mask； 所述掩膜Mask是一个具有与摄像头采集的画 面相同分 辨率的二值矩阵， 用于给目标之外的区域打码处理， 同时根据点云信息获取该人员的空间 位置Pj， 所述空间位置是基于摄 像头为原点的三维坐标(xj,yj,zj)； 选出出现在标定空间内的人员， 利用掩膜Mask对非人员区域打码， 再利用姿态关键点 识别模型识别出每一位人员的25个关键 点二维坐标(xp’,yp’)， 最终每 位人员的姿态用25*2 的矩阵表示； 将得到的25*2的矩阵转换为向量， 并通过动作阶段识别模型判定该向量所处训练阶 段， 所述动作阶段识别模 型的分类标签为： 分类1为准备阶段、 分类2 为起跳阶段、 分类3为落 地阶段、 分类0为无关动作； 从标定空间中的人员中寻找由动作阶段识别模型判定为准备阶段即分类1且置信度最 高的人员； 如果选出处于准备阶段的人员， 将该人员作为在训目标并记 录其IDt和此时视频采 集到 的第Ns帧， 锁定目标； 如果没有满足处于准备阶段的人员则在时序数据中记录25*2的零矩 阵、 25*3的零矩阵、 分类0， 未锁定目标。 5.根据权利要求4所述的一种队列式跳伞训练动作识别与评分的方法， 其特征在于， S5 中对锁定目标进行持续跟踪的具体方法为： 根据IDt获取目标的掩膜Mask和空间位置Pt(xt,yt,zt)， 仅利用掩膜Mask对图像打码处权　利　要　求　书 1/2 页 2 CN 115497170 A 2理； 通过姿态关键点识别模型获取目标的25 *2的关键点 坐标矩阵； 将二维关键点 坐标映射到点云信息中得到对应的25 *3的三维关键点 坐标矩阵； 通过动作阶段识别模型识别其所处训练阶段； 将获得的二维坐标矩阵、 三维坐标矩阵、 所处阶段记录在时序数据中。 6.根据权利要求5所述的一种队列式跳伞训练动作识别与评分的方法， 其特征在于， S6 中对目标进行评分的具体方法为： 对锁定的在训目标离开标定空间时所采集 的数据序列区间[Ns,Ne]内的数据进行阶段 序列平滑处理： 设置一个新序列S ’用于存储阶段平滑处理结果； 利用大小为5的滑动窗口在阶段序列 中从头逐位滑动， 统计滑动窗口中各分类分类的数量， 将数量最多的阶段记录在滑动窗口 中间第三个 位置在S’中对应的位置， 此时滑动窗口取的是S中区间[N1,N5]的阶段， 滑动窗口 中间的位置实际对 应的是N3， 所以平滑处理结果记录在 S’的N3位置； 最终的到 新的阶段序列 S’； 对S’再次进行平 滑处理得到S”； 取出S”中阶段类别按照从小到大排列且第一个数为1、 最后一个数为3的最长子序列， 并记录该子序列第一个和最后一个位置所对应的实际位置第Nis’帧和第Nie’帧， 则区间 [Nis’,Nie’]的视频和数据序列则是跟踪的在训目标的实际片段； 如果没有规则的子序列， 则视为被误识别的无关过程， 不记录区间； 取出时序数据区间[Ns’,Ne’]的数据序列Si， 包括25*2的二维关键点坐标矩阵、 25*3三 维关键点坐标矩阵和所处阶段； 根据指标要求将数据进行处理并计算评分； 指标包括身体 整体稳定性、 腿部稳定性、 动作标准程度； 最终根据指标计算结果生成评分和报告建议Ri； 身体整体稳定性指标计算方法为： 遍历整个序列计算前后相邻的数据的相关性， 相关性计 算是基于利用三 维关键点坐标所计算的各个肢体间的夹角构成的向量， 然后累加每个相关 性值作为评判参数； 腿部稳定性指标计算方法为： 计算每一帧中双髋 间距离与双膝间距离 的比值、 双踝间距离与双 膝间距离的比值， 二者作为评判参数； 标准程度计算指标的计算方 法为： 利用DWT算法计算标准动作序列和待评估序列的相似度， 一个N*M的矩阵A 其元素为两 个序列对应位置的三维关键点坐标转换 的向量之间的余弦相似度， 从矩阵A中寻找一条从 (1,1)到(N,M)的余弦值之和最小的路径， 最终路径上的余弦值之和作为评估参数； 评分参 数结合其对应的权重计算最 终训练评分， 通过机器学习算法利用历史评分训练各个所述评 分参数的权 重， 结合教练经验及意见确定各个评分参数值对应的问题所在和问题程度。权　利　要　求　书 2/2 页 3 CN 115497170 A 3