(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211308115.8 (22)申请日 2022.10.25 (71)申请人 南昌工程学院 地址 330099 江西省南昌市高新区天祥大 道289号 (72)发明人 王员云　张文双　王军　刘坤龙　 (74)专利代理 机构 北京中济纬天专利代理有限 公司 11429 专利代理师 黄攀 (51)Int.Cl. G06T 7/246(2017.01) G06N 3/04(2006.01) G06T 7/73(2017.01) G06V 10/62(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) (54)发明名称 基于自适应时间与序列化时空特征的目标 跟踪方法与系统 (57)摘要 本发明提出一种基于自适应时间与序列化 时空特征的目标跟踪 方法与系统， 首先在双分支 跟踪网络框架下， 基于深度卷积神经网络和自适 应时间模块， 构建得到特征提取网络； 在提取目 标特征的基础上， 目标模板分支特征通过序列化 时空特征模块得到增强的目标模板特征信息； 将 该特征信息输入到模型预测器， 通过模型预测器 得到适应性卷积核； 搜索区域分支特征经过特征 提取网络与卷积核进行卷积， 得到融合之后的得 分图， 即进 一步实现目标跟踪。 在本发明中， 通过 重构基于自适应时间特征表示与序列化时空特 征模块进行特征融合， 从而提高了给定的目标图 像和搜索区域图像的特征融合的性能， 最终实现 更加精确的目标跟踪。 权利要求书5页 说明书9页 附图4页 CN 115375737 A 2022.11.22 CN 115375737 A 1.一种基于自适应时间与序列化时空特征的目标跟踪方法， 其特征在于， 所述方法包 括如下步骤： 步骤一、 在双分支目标跟踪框架下， 基于深度卷积神经网络与自适应时间特征表示模 块， 构建得到特征提取网络； 其中， 所述自适应时间特征表 示模块包括局部 分支以及 全局分 支， 所述特征提取网络用于分别提取目标模板分支的图像特征和搜索区域分支的图像特 征； 步骤二、 在目标模板分支与搜索区域分支中， 通过所述特征提取网络中的卷积层提取 得到目标浅层表观特征， 通过所述局部分支学习目标局部位置重要性权重， 以生成适应性 位置敏感权重图用于得到突出目标位置特征； 通过所述全局分支通过学习全局重要性信 息， 利用连续帧中的目标信息相关性， 以获得全局关联信息表示； 步骤三、 在目标模板分支中， 将特征提取网络提取的目标模板分支 的图像特征引入到 序列化时空特征模块； 其中， 所述序列化时空特征模块包括序列化通道信息增强模块以及 序列化空间信息增强模块， 所述序列化通道信息增强模块用于突出不同通道的信息权重， 所述序列化空间信息增强模块用于增强连续帧的目标位置信息； 步骤四、 利用大规模数据集， 对所述特征提取网络和所述序列化时空特征模块进行训 练， 并对所述特 征提取网络以及所述序列化时空特 征模块的参数进行调整； 步骤五、 目标模板分支的目标图像经过所述特征提取网络以及所述序列化 时空特征模 块之后得到目标模板信息， 将目标模板信息和未经过特征提取网络的图像信息引入到模型 预测器中， 对 模型预测器进行迭代优化以最终得到卷积核； 步骤六、 搜索区域分支利用特征提取网络进行候选块特征提取， 以得到相应的候选块 特征， 将所述卷积核与候选块特征进行特征融合操作以得到多个得分图， 其中每个得分图 对应有一相似度得分； 步骤七、 确认相似度得分的最大值， 并将相似度得分最大值的位置判定为跟踪目标的 位置以得到跟踪目标。 2.根据权利要求1所述的基于自适应时间与序列化时空特征的目标跟踪方法， 其特征 在于， 在所述 步骤二中， 在所述局部分支中， 存在 如下步骤： 使用全局空间平均池化对第一层卷积层卷积后的特征 进行压缩以得到局部位 置重要性特 征图 ； 对所述局部位置 重要性特 征图 进行第一次卷积以得到第一卷积特 征 ； 将所述第一卷积特征 进行二次卷积， 利用 函数进行激活， 并经过一个维度变 换函数 后得到适应性 位置敏感权 重图 ； 将第一层卷积层卷积后的特征 与适应性位置敏感权重图 进行逐元素相 乘操 作以得到突出目标位置特 征 ； 其中， ， 表示实数矩阵， 表示特征的通道数量最大值， 表 示连续的视频帧数最大值， 表示特征图的高度 最大值， 表示特征图的宽度 最大值， 权　利　要　求　书 1/5 页 2 CN 115375737 A 2表示特征的通道数量的取值， 表示连续的视频帧数的取值， 表示特征 图的高度取值， 表示特征图的宽度取值。 3.根据权利要求2所述的基于自适应时间与序列化时空特征的目标跟踪方法， 其特征 在于， 局部位置 重要性特 征图 的计算公式表示 为： 第一卷积特 征 的计算公式表示 为： 其中， 表示非线性操作， 表示一次卷积 操作。 4.根据权利要求3所述的基于自适应时间与序列化时空特征的目标跟踪方法， 其特征 在于， 适应性 位置敏感权 重图 的计算公式表示 为： 其中， 表示维度变换函数操作， 表示 函数， ； 所述突出目标位置特 征 的计算公式表示 为： 其中， 表示逐元素相乘操作。 5.根据权利要求4所述的基于自适应时间与序列化时空特征的目标跟踪方法， 其特征 在于， 全局分支由全连接层经 RELU操作与softmax操作组成， 在所述全局分支 中， 存在如下 步骤： 将所述局部分支中得到的局部位置重要性特征图 ， 经第一个全连接层后， 利用 RELU函数对特 征进行激活以得到 激活全连接层特 征之后的结果特 征； 将所述激活全连接层特征之后的结果特征， 再经过全局分支中的第二个全连接层， 再 进行softmax操作以得到全局上 下文信息的自适应卷积核； 基于所述突出目标位置 特征 与所述全局上下文信息的自适应卷积 核， 计算得到自适 应时间特 征表示。 6.根据权利要求5所述的基于自适应时间与序列化时空特征的目标跟踪方法， 其特征 在于， 所述激活全连接层特 征之后的结果特 征的计算公式表示 为： 其中， 表示激活全连接层特征之后的结果特征， 表示全局分支中的 RELU函数，权　利　要　求　书 2/5 页 3 CN 115375737 A 3