(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211388901.3 (22)申请日 2022.11.08 (71)申请人 苏州浪潮智能科技有限公司 地址 215100 江苏省苏州市吴中经济开发 区郭巷街道官浦路1号9幢 (72)发明人 李仁刚　王立　范宝余　郭振华　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 张志梅 (51)Int.Cl. G06F 16/783(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 视频文本互检方法及其模型训练方法、 装 置、 设备、 介质 (57)摘要 本申请公开了一种视频文本互检方法及其 模型训练方法、 装置、 设备、 介质， 应用于信息检 索技术领域。 其中， 方法包括获取训练样本集各 组训练样 本的样本文本的文本特征信息， 基于该 文本特征信息确定视频文本互检模型中的异质 图神经网络的节点特征和边； 对每组训练样本的 样本视频， 将从样本视频提取的多帧图像重新组 合得到多个图像集； 根据不同图像集的图像特征 及各图像集之间的关联关系生 成视频特征； 基于 融合第三类文本特征以及利用的异质图神经网 络提取的第二类文本数据的特征的文本特征及 相应的视频特征训练视频文本互检模 型， 可有效 提高视频文本互检索精度。 权利要求书4页 说明书18页 附图7页 CN 115438225 A 2022.12.06 CN 115438225 A 1.一种视频文本互检模型训练方法， 其特 征在于， 包括： 获取训练样本集的每组训练样本 中的样本文本的文本特征信 息； 所述样本文本包括第 一类文本数据、 第二类文本数据及第三类文本数据， 所述第二类文本数据包括第一类文本 数据， 且所述第三类文本数据用于概括所述第二类文本数据和所述第一类文本数据； 所述 文本特征信息包括所述第一类文本数据、 所述第二类文本数据和所述第三类文本数据各自 对应的第一类文本特征、 第二类文本特征和第三类文本特征； 所述第一类文本特征和所述 第二类文本特 征确定视频文本互检模型中的异质图神经网络的节点特 征和连接边； 对每组训练样本中的样本视频， 将从所述样本视频中提取的多帧图像进行重新组合， 以得到多个图像集， 且同一张图像 被包含在不同图像集中； 根据不同图像集的图像特征及各图像集之间的关联关系， 生成所述样本视频的视频特 征； 基于每组训练样本的文本特征及相应的视频特征， 训练所述视频文本互检模型； 所述 文本特征为利用所述异质图神经网络提取所述第二类文本数据的特征和所述第三类文本 特征的融合特 征。 2.根据权利要求1所述的视频文本互检模型训练方法， 其特征在于， 所述将 从所述样本 视频中提取的多帧图像进行重新组合， 以得到多个图像集， 包括： 获取图像重组合参数； 所述图像重组合参数包括图像集总数以及各图像集包含的图像 帧总数； 根据所述图像重组合参数， 确定每个图像集所包含的图像帧， 以对由多帧图像形成的 图像序列进行分割处 理。 3.根据权利要求2所述的视频文本互检模型训练方法， 其特征在于， 各图像集所包含图 像帧总数相同， 所述 根据所述图像重组合 参数， 确定每 个图像集所包 含的图像帧， 包括： 对第一个图像集， 根据 所述图像帧总数和所述图像序列的第 一帧图像确定所述第 一个 图像集所包 含的图像帧； 调用图像分割关系式， 确定相邻图像集的图像帧序号差； 所述图像分割关系式为： m+nk =N； 对其余各图像集， 基于当前图像集的上一个图像集所包含的图像帧和所述图像帧序号 差， 确定相应图像集所包 含的图像帧； 式中，m为各图像集所包含图像帧总数， N为所述图像序列所包含图像帧总数， n为图像 集总数，k为图像帧序号差， 且其 为整数。 4.根据权利要求1所述的视频文本互检模型训练方法， 其特征在于， 所述将 从所述样本 视频中提取的多帧图像进行重新组合， 以得到多个图像集， 包括： 通过解析视频拆分指令， 获取视频拆分参数； 按照所述视频拆分参数， 将所述样本 视频拆分为多个视频 段； 对每个视频段， 提取用于标识当前视频 段的目标图像帧。 5.根据权利要求4所述的视频文本互检模型训练方法， 其特征在于， 所述提取用于标识 当前视频 段的目标图像帧， 包括： 提取所述当前视频 段的第一帧图像， 以作为所述当前视频 段的目标图像帧。 6.根据权利要求1所述的视频文本互检模型训练方法， 其特征在于， 所述根据不同图像权　利　要　求　书 1/4 页 2 CN 115438225 A 2集的图像特 征及各图像集之间的关联关系， 生成所述样本 视频的视频 特征， 包括： 预先训练图像特 征提取网络； 对每个图像集， 将当前图像集所包含的图像帧均输入至所述图像特征提取网络， 得到 所述当前图像集对应的图像特 征； 其中， 所述图像特征提取网络包括第一3D卷积结构、 第一降采样结构、 第二3D卷积结 构、 第二降采样结构、 2D卷积结构和全连接层； 所述第一3D卷积结构用于对所述图像特征提取网络的输入信 息进行3D卷积操作； 所述 第一降采样结构用于对所述第一3D卷积结构的输出特征进 行降采样操作； 所述第二3D卷积 结构用于对所述第一降采样结构的输出特征进行3D卷积操作； 所述第二降采样结构用于对 所述第二3D卷积结构 输出的特征进 行降采样操作； 所述2D卷积结构用于对所述第二降采样 结构的输出 特征进行2D卷积 操作。 7.根据权利要求1所述的视频文本互检模型训练方法， 其特征在于， 所述根据不同图像 集的图像特 征及各图像集之间的关联关系， 生成所述样本 视频的视频 特征， 包括： 对每个图像集， 基于当前图像集的图像特征确定所述当前图像集的当前初始权重， 并 基于所述当前初始权 重和每个图像集的初始权 重确定所述当前图像集的权 重系数； 根据各图像集的图像特 征及相应的权 重系数， 生成所述样本 视频的视频 特征。 8.根据权利要求7所述的视频文本互检模型训练方法， 其特征在于， 所述基于当前图像 集的图像特 征确定所述当前图像集的当前初始权 重， 包括： 调用初始权重计算关系式， 计算所述当前图像集的当前初始权重； 所述初始权重计算 关系式为： ai=qT ReLU(H·yi)； 式中，ai为第i个图像集的初始权重， q为已知向量， qT表示q的转置，ReLU()为ReLU函数， H为权重矩阵，yi为第i个图像集的图像特 征。 9.根据权利要求7所述的视频文本互检模型训练方法， 其特征在于， 所述基于所述当前 初始权重和每个图像集的初始权 重确定所述当前图像集的权 重系数， 包括： 调用权重计算关系， 计算所述当前图像集的权 重系数； 所述权 重计算关系式为： ； 式中， 为第i个图像集的权重系数， ai为第i个图像集的初始权重， softmax ()为 softmax函数， aj为第j个图像集的初始权 重，n为图像集总数。 10.根据权利要求1至9任意一项所述的视频文本互检模型训练方法， 其特征在于， 所述 基于每组训练样本的文本特 征及相应的视频 特征， 训练所述视频文本互检模型， 包括： 基于每组训练样本的文本特征及相应的视频特征， 调用损失函数指导视频文本互检模 型的训练过程； 所述损失函数为：权　利　要　求　书 2/4 页 3 CN 115438225 A 3