国家标准网
文库搜索
切换导航
首页
频道
仅15元无限下载
联系我们
首页
仅15元无限下载
联系我们
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211314446.2 (22)申请日 2022.10.26 (71)申请人 山东百盟信息技 术有限公司 地址 264200 山东省威海市环翠区海 滨北 路-106A号威海国际商务大厦1 112号 (72)发明人 付强 赵洪伟 朱东杰 李良敏 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/52(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于关键帧采样和多尺度稠密网络的 长视频分类方法 (57)摘要 本发明提供了一种基于关键帧采样和多尺 度稠密网络的长视频分类方法, 包括以下部分: S1、 基于直方图差异的视频镜头边缘检测, 对待 分类视频进行镜头分割处理; S2、 基于帧间差值 的镜头内关键帧提取, 提取S1分割出的视频镜头 集合中的关键帧; S3、 基于关键帧的长视频采样, 利用S2提取到的关键帧将长视频按关键帧进行 压缩; S4、 基于多尺度稠密网络MSDNet的视频关 键帧特征提取, 利用多尺度稠密网络MSDNet提取 S3压缩后的视频帧序列的特征表示; S5、 基于 LSTM的视频关键帧序列分类, 将S4提取得到的视 频帧序列特征表示输入LSTM网络得到视频序列 的特征向量, 利用得到的特征向量输入线性分类 器得到分类结果。 权利要求书5页 说明书11页 附图3页 CN 115376052 A 2022.11.22 CN 115376052 A 1.一种基于关键帧采样和多尺度稠密网络的长视频分类方法, 其特征在于, 包括以下 步骤: S1、 基于直方图差异的视频镜 头边缘检测, 对待分类视频进行镜 头分割处 理; S2、 基于帧间差值的镜 头内关键帧提取, 提取S1分割出的视频镜 头集合中的关键帧; S3、 基于关键帧的长 视频采样, 利用S2提取到的关键帧将长 视频按关键帧进行压缩; S4、 基于多尺度稠密网络MSDNet的视频关键帧特征提取, 利用多尺度稠密网络MSDNet 提取S3压缩后的视频帧序列的特 征表示; S5、 基于LSTM 的视频关键帧序列分类, 将S4提取得到 的视频帧序列特征表示输入LSTM 网络得到 视频序列的特 征向量, 利用得到的特 征向量输入线性分类 器得到分类结果。 2.根据权利要求1所述的一种基于关键帧采样和多尺度稠密网络的长视频分类方法, 其特征在于, 所述S1包括: S11、 对待分类的长视频进行帧化处理, 并对视频中的所有帧逐帧计算视频帧图像的直 方图; S12、 基于S1 1中计算得到的视频帧图像直方图计算帧间差值并存 储; S13、 基于S12中计算得到的帧间差值信息, 根据基于帧间差值的镜头分割算法对长视 频进行镜 头分割。 3.根据权利要求2所述的一种基于关键帧采样和多尺度稠密网络的长视频分类方法, 其特征在于, 所述S1 1对视频中的所有帧逐帧计算视频帧图像的直方图包括: 将待分类的图像从RGB色彩空间转换到HSV色彩空间cvColor; 使用直方图的方法可以 很好的避免镜 头内对象运动而造成的差异, 提高一定 鲁棒性。 4.根据权利要求3所述的一种基于关键帧采样和多尺度稠密网络的长视频分类方法, 其特征在于, 所述S12包括: 根据S11计算得到的每个视频帧图像的直 方图, 计算帧与帧之间的帧间差值 , 计算方式为: (1) 。 5.根据权利要求4所述的一种基于关键帧采样和多尺度稠密网络的长视频分类方法, 其特征在于, 所述S13包括: S131基于帧间差值的镜头边界帧选取和S132基于镜头边界帧的 视频镜头分割与提取两个主 要步骤; 首先执行基于帧间差值的镜头边界帧选取算法选择镜头的边界, 随后根据选定的镜头 边界帧切分视频提取镜 头。 6.根据权利要求5所述的一种基于关键帧采样和多尺度稠密网络的长视频分类方法, 其特征在于, 所述S131基于帧间差值的镜 头边界帧选取算法包括: S1311、 设置一个大小为10帧的窗口, 步长为8, 即窗口重叠次数为2; 寻找窗口内帧间差 值 最大的帧定义为可能的边界帧 , 并判断该帧距离上一个边界帧 的 距离; 如果距离小于 , 则取消该可能的边界帧 的资格, 否则权 利 要 求 书 1/5 页 2 CN 115376052 A 2定义该帧是一个新的边界帧 ; S1312、 进一步判断边界帧 是否是镜头边缘帧; 计算两个边界帧 之间帧的帧间 差值 的平均值 , 并判断边界帧 的帧间差值 是 否远大于平均值 , 预置阈值为6, 即, 当且仅当边界帧 的帧间差值 大于两个边界帧 之间帧平均值 的6倍, 两个边界帧 才得以保留; S1313、 进一步优化选取的镜头边缘, 即, 判断该边界帧 后的小区间内是否有比该 边界帧 更合适的帧; 从确定的边界帧 开始, 往后寻找8帧中的最大帧 ; 若最大帧 的帧间差值 小于边界 帧 的帧间差值 , 则 边界帧 得以保留; 若最大帧 的帧间差值 大于边界帧 的帧间差值 , 则计算前 一个边界帧 和最新找到的最大帧 之间帧的帧间差值的平均值 , 判断最大帧的帧 间差值 是否大于平均值 的倍数, 若没有 大于, 则边界帧 得以保留, 否则最大帧 为新的边界帧 , 并继续执行镜头边缘 优化; S1314、 最后, 得到待分类视频对应的边界帧 组成的边界帧序列 。 7.根据权利要求5所述的一种基于关键帧采样和多尺度稠密网络的长视频分类方法, 其特征在于, 所述 根据选定的镜头边界帧切分视频提取镜 头包括: 根据基于帧间差值的镜头边界帧选取算法选定的边界帧 组成的边界帧序列 , 以每两个边界帧 为界, 截取视频 帧组成视频子镜头, 所有视频子镜头组成待分类视频 对应的子镜头序列 , 表示待分类视频对应的子镜头序列中有 个镜头组成。 8.根据权利要求7所述的一种基于关键帧采样和多尺度稠密网络的长视频分类方法, 其特征在于, 所述S2包括: S21、 首先计算待分类视频对应的子镜头序列 中的所有子镜头 内的视频帧的帧 间差值的平均值 , 其中 , 表示待分类视频对应的子 镜头序列中有 个镜头组成;权 利 要 求 书 2/5 页 3 CN 115376052 A 3
专利 一种基于关键帧采样和多尺度稠密网络的长视频分类方法
文档预览
中文文档
20 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
赞助2.5元下载(无需注册)
温馨提示:本文档共20页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2.5元下载
本文档由 SC 于
2024-02-18 22:24:12
上传分享
举报
下载
原文档
(1.2 MB)
分享
友情链接
GB-T 1859.3-2015 往复式内燃机 声压法声功率级的测定 第3部分:半消声室精密法.pdf
GB-T 2428-1998 成年人头面部尺寸.pdf
T-ZGCMITT 009—2022 介入手术室放射防护用品使用管理.pdf
GB-T 40018-2021 信息安全技术 基于多信道的证书申请和应用协议.pdf
GB-T 36951-2018 信息安全技术 物联网感知终端应用安全技术要求.pdf
DB4403-T 422.1—2024 诚信计量管理规范 第1部分:通则 深圳市.pdf
GB-T 42449-2023 系统与软件工程 功能规模测量 IFPUG方法.pdf
DL-T 5209-2020 混凝土坝安全监测资料整编规程.pdf
GB-T 31519-2015 台风型风力发电机组.pdf
绿盟 工业控制系统安全评估流程.pdf
GB-T 18494.1-2014 变流变压器 第1部分:工业用变流变压器.pdf
GB/T 29245-2012 信息安全技术 政府部门信息安全管理基本要求.pdf
GB-T 33207-2016 无损检测 在役金属管内氧化皮堆积的磁性检测方法.pdf
GB-T 5155-2022 镁及镁合金热挤压棒材.pdf
SN-T 1732.23-2019 烟花爆竹用烟火药剂中铅、铬、镉、汞和砷含量的测定 电感耦合等离子体发射光谱法.pdf
GB-T 24403-2023 金枪鱼罐头质量通则.pdf
“安全需要每个工程师的参与”-DevSecOps理念及思考.pdf
GB-T 21062.4-2007 政务信息资源交换体系 第4部分:技术管理要求.pdf
GB-T 14926.25-2001 实验动物 呼肠孤病毒Ⅲ型检测方法.pdf
SN-T 3653-2013 食品接触材料 无机非金属材料 水模拟物中氟离子的测定 离子色谱法.pdf
1
/
20
评价文档
赞助2.5元 点击下载(1.2 MB)
回到顶部
×
微信扫码支付
2.5
元 自动下载
点击进入官方售后微信群
支付 完成后 如未跳转 点击这里下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。