国家标准网
文库搜索
切换导航
首页
频道
仅15元无限下载
联系我们
首页
仅15元无限下载
联系我们
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211314446.2 (22)申请日 2022.10.26 (71)申请人 山东百盟信息技 术有限公司 地址 264200 山东省威海市环翠区海 滨北 路-106A号威海国际商务大厦1 112号 (72)发明人 付强 赵洪伟 朱东杰 李良敏 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/52(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于关键帧采样和多尺度稠密网络的 长视频分类方法 (57)摘要 本发明提供了一种基于关键帧采样和多尺 度稠密网络的长视频分类方法, 包括以下部分: S1、 基于直方图差异的视频镜头边缘检测, 对待 分类视频进行镜头分割处理; S2、 基于帧间差值 的镜头内关键帧提取, 提取S1分割出的视频镜头 集合中的关键帧; S3、 基于关键帧的长视频采样, 利用S2提取到的关键帧将长视频按关键帧进行 压缩; S4、 基于多尺度稠密网络MSDNet的视频关 键帧特征提取, 利用多尺度稠密网络MSDNet提取 S3压缩后的视频帧序列的特征表示; S5、 基于 LSTM的视频关键帧序列分类, 将S4提取得到的视 频帧序列特征表示输入LSTM网络得到视频序列 的特征向量, 利用得到的特征向量输入线性分类 器得到分类结果。 权利要求书5页 说明书11页 附图3页 CN 115376052 A 2022.11.22 CN 115376052 A 1.一种基于关键帧采样和多尺度稠密网络的长视频分类方法, 其特征在于, 包括以下 步骤: S1、 基于直方图差异的视频镜 头边缘检测, 对待分类视频进行镜 头分割处 理; S2、 基于帧间差值的镜 头内关键帧提取, 提取S1分割出的视频镜 头集合中的关键帧; S3、 基于关键帧的长 视频采样, 利用S2提取到的关键帧将长 视频按关键帧进行压缩; S4、 基于多尺度稠密网络MSDNet的视频关键帧特征提取, 利用多尺度稠密网络MSDNet 提取S3压缩后的视频帧序列的特 征表示; S5、 基于LSTM 的视频关键帧序列分类, 将S4提取得到 的视频帧序列特征表示输入LSTM 网络得到 视频序列的特 征向量, 利用得到的特 征向量输入线性分类 器得到分类结果。 2.根据权利要求1所述的一种基于关键帧采样和多尺度稠密网络的长视频分类方法, 其特征在于, 所述S1包括: S11、 对待分类的长视频进行帧化处理, 并对视频中的所有帧逐帧计算视频帧图像的直 方图; S12、 基于S1 1中计算得到的视频帧图像直方图计算帧间差值并存 储; S13、 基于S12中计算得到的帧间差值信息, 根据基于帧间差值的镜头分割算法对长视 频进行镜 头分割。 3.根据权利要求2所述的一种基于关键帧采样和多尺度稠密网络的长视频分类方法, 其特征在于, 所述S1 1对视频中的所有帧逐帧计算视频帧图像的直方图包括: 将待分类的图像从RGB色彩空间转换到HSV色彩空间cvColor; 使用直方图的方法可以 很好的避免镜 头内对象运动而造成的差异, 提高一定 鲁棒性。 4.根据权利要求3所述的一种基于关键帧采样和多尺度稠密网络的长视频分类方法, 其特征在于, 所述S12包括: 根据S11计算得到的每个视频帧图像的直 方图, 计算帧与帧之间的帧间差值 , 计算方式为: (1) 。 5.根据权利要求4所述的一种基于关键帧采样和多尺度稠密网络的长视频分类方法, 其特征在于, 所述S13包括: S131基于帧间差值的镜头边界帧选取和S132基于镜头边界帧的 视频镜头分割与提取两个主 要步骤; 首先执行基于帧间差值的镜头边界帧选取算法选择镜头的边界, 随后根据选定的镜头 边界帧切分视频提取镜 头。 6.根据权利要求5所述的一种基于关键帧采样和多尺度稠密网络的长视频分类方法, 其特征在于, 所述S131基于帧间差值的镜 头边界帧选取算法包括: S1311、 设置一个大小为10帧的窗口, 步长为8, 即窗口重叠次数为2; 寻找窗口内帧间差 值 最大的帧定义为可能的边界帧 , 并判断该帧距离上一个边界帧 的 距离; 如果距离小于 , 则取消该可能的边界帧 的资格, 否则权 利 要 求 书 1/5 页 2 CN 115376052 A 2定义该帧是一个新的边界帧 ; S1312、 进一步判断边界帧 是否是镜头边缘帧; 计算两个边界帧 之间帧的帧间 差值 的平均值 , 并判断边界帧 的帧间差值 是 否远大于平均值 , 预置阈值为6, 即, 当且仅当边界帧 的帧间差值 大于两个边界帧 之间帧平均值 的6倍, 两个边界帧 才得以保留; S1313、 进一步优化选取的镜头边缘, 即, 判断该边界帧 后的小区间内是否有比该 边界帧 更合适的帧; 从确定的边界帧 开始, 往后寻找8帧中的最大帧 ; 若最大帧 的帧间差值 小于边界 帧 的帧间差值 , 则 边界帧 得以保留; 若最大帧 的帧间差值 大于边界帧 的帧间差值 , 则计算前 一个边界帧 和最新找到的最大帧 之间帧的帧间差值的平均值 , 判断最大帧的帧 间差值 是否大于平均值 的倍数, 若没有 大于, 则边界帧 得以保留, 否则最大帧 为新的边界帧 , 并继续执行镜头边缘 优化; S1314、 最后, 得到待分类视频对应的边界帧 组成的边界帧序列 。 7.根据权利要求5所述的一种基于关键帧采样和多尺度稠密网络的长视频分类方法, 其特征在于, 所述 根据选定的镜头边界帧切分视频提取镜 头包括: 根据基于帧间差值的镜头边界帧选取算法选定的边界帧 组成的边界帧序列 , 以每两个边界帧 为界, 截取视频 帧组成视频子镜头, 所有视频子镜头组成待分类视频 对应的子镜头序列 , 表示待分类视频对应的子镜头序列中有 个镜头组成。 8.根据权利要求7所述的一种基于关键帧采样和多尺度稠密网络的长视频分类方法, 其特征在于, 所述S2包括: S21、 首先计算待分类视频对应的子镜头序列 中的所有子镜头 内的视频帧的帧 间差值的平均值 , 其中 , 表示待分类视频对应的子 镜头序列中有 个镜头组成;权 利 要 求 书 2/5 页 3 CN 115376052 A 3
专利 一种基于关键帧采样和多尺度稠密网络的长视频分类方法
文档预览
中文文档
20 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
赞助2.5元下载(无需注册)
温馨提示:本文档共20页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2.5元下载
本文档由 SC 于
2024-02-18 22:24:12
上传分享
举报
下载
原文档
(1.2 MB)
分享
友情链接
艾瑞咨询 移动应用技术趋势白皮书.pdf
GB-T 20252-2014 钴酸锂.pdf
GB-T 30146-2023 安全与韧性业务连续性管理体系要求 ISO 22301-2019.pdf
GB-T 37849-2019 液相色谱飞行时间质谱联用仪性能测定方法.pdf
DB12-T 1220-2023 固定资产投资项目节能后评价规范 天津市.pdf
GB-T 29873-2013 能源计量数据公共平台数据传输协议.pdf
DB42-T 875-2019 湖北省城镇地下管线探测技术规程 湖北省.pdf
GB-T 9776-2022 建筑石膏.pdf
GB-T 35547-2017 乡镇消防队.pdf
GB-T 26973-2011 空气源热泵辅助的太阳能热水系统 储水箱容积大于0.6m3 技术规范.pdf
OWASP Webgoat 中文手册 V2.2.pdf
DB11-T 2049-2022 政务大数据安全技术框架 北京市.pdf
T-CSAE 284.3—2022 自动驾驶乘用车 线控底盘性能要求及试验方法 第3部分:转向系统.pdf
GB-T 38329.3-2023 港口船岸连接 第3部分:低压岸电连接(LVSC)系统 一般要求.pdf
DB3202-T 1052-2023 特种设备作业人员设置指南 无锡市.pdf
GB-T 11066.1-2008 金化学分析方法 金量的测定 火试金法.pdf
T-SCIIA 1—2020 数字化转型 新型基础设施建设产品与服务认定规范.pdf
T-CAQI 225—2021 钢制模块化装配污水处理池体技术要求.pdf
GB-T 28507-2012 互联网文本语音展现通用描述规范.pdf
DB41-T 2282-2022 独山玉鉴定与原料分级 河南省.pdf
1
/
20
评价文档
赞助2.5元 点击下载(1.2 MB)
回到顶部
×
微信扫码支付
2.5
元 自动下载
点击进入官方售后微信群
支付 完成后 如未跳转 点击这里下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。