(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211358974.8 (22)申请日 2022.11.02 (71)申请人 山东省人工智能研究院 地址 250000 山东省济南市历下区科院路 19号 申请人 山东中联视听信息科技股份有限公 司　 青岛海尔智能技 术研发有限公司 　 泰华智慧产业 集团股份有限公司 (72)发明人 高赞　崔兴磊　卓涛　李传森　 张蕊　郝敬全　 (74)专利代理 机构 山东知圣律师事务所 37262 专利代理师 纪艳艳 (51)Int.Cl. G06V 20/40(2022.01)G06V 40/20(2022.01) G06K 9/62(2022.01) G06V 10/764(2022.01) (54)发明名称 基于特征编码器分类和定位串行的视频动 作检测方法 (57)摘要 本发明属于计算机视觉和模式识别技术领 域， 公开了一种基于特征编码器分类和定位串行 的视频动作检测方法， 准确地实现了对视频中动 作实例的定位和分类； 方法的具体步骤如下： （1） 视频预处理； （2） 基于特征编码器分类和定位串 行的视频动作检测方法的网络模型搭建； （3） 基 于特征编码器分类和定位串行的视频动作检测 方法的目标函数构建； （4） 基于特征编码器分类 和定位串行的视频动作检测方法； 本发明基于已 知数据集对视频中的动作实例进行高效定位和 分类， 并且方法收敛速度快。 权利要求书2页 说明书6页 附图3页 CN 115410138 A 2022.11.29 CN 115410138 A 1.一种基于特征编码器分类和定位串行的视频动作检测方法， 其特征在于， 包括以下 步骤： S1.视频预处理： 将未修剪的视频抽取成帧， 表示为 在训练集中包含  T 帧,将每个视频 以 视频帧输入到网络模型中； S2.基于特 征编码器分类和定位串行的视频动作检测方法的网络模型 搭建： S3.基于特 征编码器分类和定位串行的视频动作检测方法的目标函数构建； S4. 经过步骤S2和步骤S3后形成最终的基于特征编码器分类和定位串行的视频动作 检测方法模型。 2.根据权利要求1所述基于特征编码器分类和定位串行的视频动作检测方法， 其特征 在于， 步骤S2具体包括如下步骤： 1） 模型构建： 101.将视频帧输入到特 征编码器生成不同时间尺度的特 征； 102.不同层次的特征输入到分类器， 生成分类特征， 进行S mooth平滑， 输入到定位器进 行定位操作； 103.生成最终的视频中动作实例的分类和定位结果； 2） 特征提取网络 选择： 通过I3D网络获得时空特 征， 获得的时空特 征经过3D卷积变成1D特 征序列 。 3.根据权利要求2所述基于特征编码器分类和定位串行的视频动作检测方法， 其特征 在于， 步骤S2具体包括如下步骤： 作为特征编码器的输入， 得到不同时间尺度的特 征， 分类特征生成过程： 基于不同时间尺度的特征 ,采用轻量级的卷积神经网络进行分类， 生成分类特征 ,  是所有动作的类别； 将生成的分类特 征输入到 平滑函数。 4.根据权利要求2所述基于特征编码器分类和定位串行的视频动作检测方法， 其特征 在于， 平滑函数包括以下步骤： 确定一个滑动窗口 ， 对一个窗口内的数值进行平 滑操作， 实现过程 为：     (1) 是窗口的大小， 是利用Han n函数生成的一维向量   (2) 是一维向量所有元 素的权　利　要　求　书 1/2 页 2 CN 115410138 A 2和   （3）  是每个时间尺度分类特 征需要平 滑的窗口大小为 的一维向量；   （4） 经过Smooth平滑操作后的分类特 征。 5.根据权利要求1至4任一项所述基于特征编码器分类和定位串行的视频动作检测方 法， 其特征在于， 分类和定位具体过程如下： 对预测分类的损失函数加了一个参数 ， 总损失函数 定义为： 分别是边界分类和边界回归的损失函数， 定义如下： 其中 是分类中正样本的数量， 如果预测的片段位于真实样本中， 视为正样本， 是预测的分类结果， 是真实标签； 在细化边界回归中， 使用  作为损失函数， 预测 是预 测边界偏移量， 是真实的边界偏移， 则 的实现过程 为： 其中 是定位中正样本的数量， 采用 来处理所有预测以抑制冗余 提议。权　利　要　求　书 2/2 页 3 CN 115410138 A 3