(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211279274.X (22)申请日 2022.10.19 (71)申请人 华侨大学 地址 362000 福建省泉州市城华北路269号 (72)发明人 陈龙涛　汪勇衡　曾焕强　朱建清　 黄德天　施一帆　 (74)专利代理 机构 泉州市文华专利代理有限公 司 35205 专利代理师 陈雪莹 (51)Int.Cl. G06T 7/246(2017.01) G06V 10/74(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06V 10/82(2022.01) (54)发明名称 基于GIoU门限机制的在 线多目标跟踪方法、 设备和存 储介质 (57)摘要 本发明一种基于GIoU门限机制的在线多目 标跟踪方法、 设备和存储介质， 提出一种加入到 级联匹配过程的GIoU门限机制GI GM， 以提高关联 性能、 解决长距离标识切换问题， 当目标和检测 距离较远时， GI GM可以有效防止匹配和长距离标 识切换， CIoU匹配被用作第二关联策略， 以获得 更好和更合理的跟踪结果。 即使检测目标在外观 上高度相似， 但当它们的位置相距很远时， GIGM 可以防止该错 误匹配。 权利要求书2页 说明书6页 附图3页 CN 115546251 A 2022.12.30 CN 115546251 A 1.基于GI oU门限机制的在线 多目标跟踪方法， 其特 征在于包括如下步骤： 步骤1、 通过open ‑cv读取图像或视频信息； 步骤2、 设定好置信度阈值， 用YOLOv4对每一帧图像进行目标检测， 得到目标边界框信 息； 步骤3、 将目标边界框信息传递给重识别模型， 以获得目标表 观特征信息； 步骤4、 目标边界框信息和目标表 观特征信息被一同发送到跟踪系统； 步骤5、 开始GIoU级联匹配过程， 跟踪系统通过步骤4得到第t帧图像已存在的轨迹T[ m] 和第t+1帧图像新得到的检测目标D[n] 的目标边界框信息和目标表观特征信息， 其中， m为 轨迹数量， n为检测目标数量， 通过目标边界框信息计算得到轨迹T[m]与检测目标D[n]之间 的GIoU分数G[n*m]， 通过目标表观特征计算得到轨迹T[m]与检测目标D[n]之间的外观相似 度余弦距离 C[n*m]， 并实施基于GI oU门限机制GIGM的级联匹配； 步骤6、 GIoU级联匹配过程结束后， 匹配失败的检测目标和轨迹再进行CIoU匹配， CIoU 匹配成功的轨迹和检测目标将与步骤5的GIoU级 联匹配中匹配成功的候选对一同进入步骤 7， 进行卡尔曼 滤波更新； CI oU匹配失败的轨 迹和检测目标将进入步骤8； 步骤7、 跟踪系统对上一帧的轨迹进行卡尔曼滤波更新， 连续三帧匹配到检测目标的轨 迹被认定为确认 态的轨迹， 其他未匹配到检测目标的轨 迹视为匹配失败的轨 迹； 步骤8、 对所有轨迹进行卡尔曼滤波预测， 通过卡尔曼滤波算法更新修正位置信息， 得 到新的轨迹集， 并将确认态的轨迹送入步骤5以进行下一次GIoU级 联匹配， 将未确认态的轨 迹送入步骤6以进行 下一次CI oU匹配， 直至匹配结束后进入步骤10； 步骤9、 针对步骤7匹配失败的轨 迹和检测目标， 根据类型不同， 进行不同的处 理： 将检测目标作为未确认 态的轨迹送入轨 迹集中， 进入步骤8； 判断轨迹是否为确认态， 若为确认态， 则判断轨迹存活时长a是否超过阈值， 将属于未 确认态的轨迹和轨迹存活 时间a大于阈值的轨迹删除， 将未被删除的轨迹送入轨迹集中,进 入步骤8； 步骤10、 对新的确认 态的轨迹进行可视化操作。 2.根据权利要求1所述的基于GIoU门限机制的在线多目标跟踪方法， 其特征在于所述 步骤5的基于GI oU门限机制GIGM的级联匹配， 具体为： 预置输入参数： 外观相似度最大余弦距离H1、 GIoU门限H2、 最大轨迹存活时间Amax、 轨迹 存活时间a； 初始化匹配集M1和未匹配 检测集M2； 将所有轨迹存活时间a小于最大轨迹存活时间Amax的轨迹， 按照轨迹存活时间a从小到 大的顺序挑选出来， 放入集合Tx＝{j∈T|aj＝x}， x＝(0, …,Amax‑1)， 该集合Tx中的轨迹与未 匹配检测集M2中的检测目标两两配对为候选对， 设候选对之间的外观相似度余弦距离矩阵 为C和GIoU分数矩阵为G； 计算候选对之间 的外观相似度 余弦距离C[i]， i＝(0, …,n*m‑1)， 标记外观相似度 余弦 距离C[i]大于阈值H1的候选对， 以便在匈 牙利算法匹配期间过 滤掉已标记的候选对； 计算候选对之间的GIoU分数G[i]， i＝(0, …,n*m‑1)， 若GIoU分数G[i]小于门限H2， 则 将其设置为 一个极大值， 并将其 余的G[i]置为0； 将处理得到的GIoU分数矩阵G和外观相似度余弦距离矩阵C相加， 得到最终的代价矩阵权　利　要　求　书 1/2 页 2 CN 115546251 A 2N； 通过Amax‑1次匈牙利算法的线性分配以获得新的匹配集M1和未匹配检测集M2关联结果： M1,M2＝匈牙利算法(N,Ti,M1,M2)， i＝(0, …,Amax‑1)， 意味着存活时间短的轨迹会优先匹配 其中， 如果匹配成功， 将轨 迹存活时间a置零， 将匹配失败的轨 迹存活时间a加1。 3.基于GI oU门限机制的在线 多目标跟踪仪， 其特 征在于包括： 采集装置， 通过open ‑cv读取图像或视频信息； 处理装置， 与所述采集装置通信连接， 以接收采集装置输出的每一帧图像， 并且， 所述 处理装置包括存 储器与处 理器， 所述存储器， 用于存储由系统 的一个或多个处理器执行的指令； 所述处理器， 执行所述 指令以实现所述权利要求1 ‑2中任意一种基于GI oU门限机制的在线 多目标跟踪方法。 4.基于GI oU门限机制的在线 多目标跟踪设备， 其特 征在于包括： 存储器， 用于存 储由系统的一个或多个处 理器执行的指令， 以及 处理器， 是系统的处理器之一， 用于执行所述指令以实现所述权利要求1 ‑2中任意一种 基于GIoU门限机制的在线 多目标跟踪方法。 5.一种计算机可读存储介质， 其特征在于： 该计算机可读存储介质上存储有在线多目 标跟踪程序， 该在线多目标跟踪程序在计算机上执行时， 使计算机执行所述权利要求 1‑2中 任意一种基于GI oU门限机制的在线 多目标跟踪方法的步骤。权　利　要　求　书 2/2 页 3 CN 115546251 A 3