(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211420795.2 (22)申请日 2022.11.15 (71)申请人 浪潮电子信息产业股份有限公司 地址 250000 山东省济南市高新区浪潮路 1036号 (72)发明人 赵坤　王立　李仁刚　赵雅倩　 范宝余　鲁璐　郭振华　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 周念念 (51)Int.Cl. G06F 16/783(2019.01) G06F 16/732(2019.01) G06F 16/75(2019.01) G06F 16/332(2019.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 视频与文本的互检方法、 装置、 设备、 存储介 质及终端 (57)摘要 本申请公开了计算机技术领域内的一种视 频与文本的互检方法、 装置、 设备、 存储介质及终 端。 本申请在确定目标视频中每帧画面的特征 后， 利用以强化学习方式训练得到的视频播放模 型确定目标视频中每帧画面的播放速度， 得到目 标视频的播放控制策略， 通过播放控制策略可以 在目标视频中选择出能够表示视频画面转折点 的多帧关键画面， 后续检索与这些关键画面匹配 的目标文本。 该方案不以视频里的全部帧进行检 索， 而是从中选出能够表示视频画面转折点的一 些关键画面进行检索， 降低了数据处理量， 保障 了检索精度， 提升了检索效率。 本申请提供的一 种视频与文本的互检装置、 设备、 存储介质及终 端， 也同样具有上述 技术效果。 权利要求书4页 说明书19页 附图6页 CN 115495615 A 2022.12.20 CN 115495615 A 1.一种视频与文本的互检方法， 其特 征在于， 包括： 获取目标视频； 确定目标视频中每帧画面的特 征； 将所述目标视频中各帧画面的特征输入以强化学习方式训练得到的视频播放模型， 以 使所述视频播放模型针对所述 目标视频输出播放控制策略； 所述播放控制策略包括： 所述 目标视频中每帧画面的播 放速度； 基于所述播放控制策略在所述目标视频中选择能够表示视频画面转折点的多帧关键 画面， 得到关键画面 集合； 检索与所述关键画面 集合匹配的目标文本 。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述播放控制策略在所述目标视 频中选择能够表示视频画面 转折点的多帧关键画面， 得到关键画面 集合， 包括： 基于所述 播放控制策略确定所述目标视频中每帧画面的播 放速度； 使播放速度不低于预设上限值的连续画面构 成一个视频片段， 使播放速度不高于预设 下限值的连续画 面构成另一视频片段， 使播放速度介于预设上限值和预设下限值之 间的连 续画面构成又一视频片段； 在每个视频片段中分别选择视频画面， 并使选择到的所有视频画面构 成所述关键画面 集合。 3.根据权利要求2所述的方法， 其特征在于， 所述在每个视频片段中分别选择视频画 面， 包括： 在每个视频片段中随机 选择预设数量帧视频画面； 或 按照每个视频片段对应的预设选择步长计算在每个视频片段中可选的帧数量， 基于每 个视频片段对应的预设选择步长和可选的帧数量在每 个视频片段中分别选择视频画面。 4.根据权利要求3所述的方法， 其特 征在于， 任一视频片段中可选的帧数量按照第一公式进行计算； 所述第一公式为： z=(tstart‑ tend)/S； 其中， z为当前视频片段中可选的帧数量， tstart为当前视频片段的起始帧， tend为当 前视频片段的结束帧， S为当前视频片段对应的预设选择步长 。 5.根据权利要求1所述的方法， 其特征在于， 所述检索与 所述关键画面集合匹配的目标 文本， 包括： 确定所述关键画面 集合对应的视频 特征序列； 检索与所述视频 特征序列匹配的文本特 征； 将所述文本特 征对应的文本数据确定为所述目标文本 。 6.根据权利要求5所述的方法， 其特征在于， 任一文本数据对应的文本特征的生成过程 包括： 将任一文本数据的内容编码为多个数据节点， 并基于各数据节点以及不同数据节点之 间的连接关系构造图结构； 使所述图结构中具有连接关系的数据节点相互融合， 得到更新后的图结构； 确定更新后的图结构的图编码结果， 并拼接所述图编码结果与当前文本数据的标题特 征， 得到当前文本数据对应的文本特 征。权　利　要　求　书 1/4 页 2 CN 115495615 A 27.根据权利要求6所述的方法， 其特征在于， 所述将任一文本数据的内容编码为多个数 据节点， 并基于各数据节点以及不同数据节点之间的连接关系构造图结构； 使所述图结构 中具有连接关系的数据节点相互融合， 得到更新后的图结构， 包括： 提取当前文本数据中各个步骤的步骤特征和 原料特征， 并将所述步骤特征和所述原料 特征作为所述数据节点； 确定任意步骤特征需连接的原料特征， 并基于所有步骤特征、 所有原料特征以及各步 骤特征需连接的原料 特征构造异质图作为所述图结构； 针对所述异质图， 基于任意步骤特征所连接的各原料特征更新当前步骤特征， 基于任 意原料特征所连接的各步骤特征更新当前原料特征， 以使 所述异质图中具有连接关系的步 骤特征和原料 特征相互融合， 得到更新后的图结构。 8.根据权利要求7所述的方法， 其特征在于， 所述确定任意步骤特征需连接的原料特 征， 包括： 若任一步骤特征包括任一操作原料， 则确定当前步骤特征需连接当前操作原料对应的 原料特征； 或 基于任一步骤特征与所有原料特征之间的连接强度选择当前步骤特征需连接的原料 特征。 9.根据权利要求8所述的方法， 其特征在于， 基于任一步骤特征与所有原料特征之间的 连接强度选择当前步骤特 征需连接的原料 特征， 包括： 若任一步骤特征与任一原料特征之间的连接强度 大于预设阈值， 则确定当前步骤特征 需连接当前原料 特征； 或 对任一步骤特征与 所有原料特征之间的连接强度进行归一化处理， 将归一化处理后的 各连接强度作为抽样概 率， 按照各抽样概 率选择当前步骤特 征需连接的原料 特征； 或 将任一步骤特征与 所有原料特征之间的连接强度归类至多个区间， 在每个区间内以概 率采样方式或均值采样方式选择目标数量个连接强度， 将所选择的连接强度对应的原料特 征确定为当前步骤特 征需连接的原料 特征。 10.根据权利要求7所述的方法， 其特征在于， 所述基于任意步骤特征所连接的各原料 特征更新当前步骤特 征， 基于任意原料 特征所连接的各步骤特 征更新当前原料 特征， 包括： 基于任意步骤特征所连接的各原料特征计算当前步骤特征的附加步骤特征， 将所述附 加步骤特 征补充至当前步骤特 征； 基于任意原料特征所连接的各步骤特征计算当前原料特征的附加 原料特征， 将所述附 加原料特征补充至当前原料 特征。 11.根据权利要求6所述的方法， 其特征在于， 所述确定更新后的图结构的图编码结果， 包括： 对更新后的图结构中的所有步骤特征进行正序编码和倒序编码， 得到正序编码结果和 倒序编码结果； 取所述正序编码结果和所述倒序编码结果的均值作为所述图编码结果。权　利　要　求　书 2/4 页 3 CN 115495615 A 3