(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211025199.4 (22)申请日 2022.08.25 (71)申请人 奥比中光科技 集团股份有限公司 地址 518000 广东省深圳市南 山区粤海街 道学府路63号高新区联合总部大厦 11-13楼 (72)发明人 黄振昌　段鹏飞　吴梓华　 (74)专利代理 机构 深圳市君胜知识产权代理事 务所(普通 合伙) 44268 专利代理师 陈专 (51)Int.Cl. H04N 5/232(2006.01) H04N 5/225(2006.01) (54)发明名称 一种多路采集数据的同步输出方法、 系统及 RGBD相机 (57)摘要 本发明公开了一种多路采集数据的同步输 出方法、 系 统及RGBD相机。 方法包括： 接收N路数 据流中的数据帧， 将每个数据帧加入至队列集中 对应的队列， 队列集包括N个队列， 每个队列与每 路数据流相对； 从队列集的各个存有数据帧的队 列中提取加入时刻最早的数据帧， 得到待同步数 据包； 从待同步数据包中提取出时间戳最早的数 据帧作为参考数据帧并输至缓存， 将待同步数据 包中剩余的数据帧中时间戳最早的数据帧作为 目标数据帧； 根据参考数据帧和目标数据帧之间 的时间戳差值判断目标数据帧是否符合同步条 件； 若是， 则将目标数据帧输至缓存， 在待同步数 据包中没有数据帧时将缓存中的数据帧标记为 同步输出。 本方法可以为多路数据流的同步输出 提供有效保障。 权利要求书2页 说明书9页 附图4页 CN 115484407 A 2022.12.16 CN 115484407 A 1.一种多路采集数据的同步输出 方法， 其特 征在于， 所述方法包括： 接收N路数据流中的数据帧， 将每个数据帧加入至队列集中对应的队列， 其中， 所述队 列集包括 N个队列， 每 个队列与每路数据流相对应， N 为大于1的整数； 从所述队列集的各个存有数据帧的队列中提取加入时刻最早的数据帧， 得到待同步数 据包； 从所述待同步数据包中提取出时间戳最早的数据帧作为参考数据帧并输至缓存， 将所 述待同步数据包剩余的数据帧中时间戳 最早的数据帧作为目标 数据帧； 根据所述参考数据帧和所述目标数据帧之间的时间戳差值， 判断所述目标数据帧是否 符合同步条件； 若是， 则将所述目标数据帧输至缓存， 并在所述待 同步数据包中没有剩余数据帧时将 所述缓存中的数据帧标记为同步输出。 2.根据权利要求1所述的多路采集数据的同步输出方法， 其特征在于， 所述从所述队列 集的各个存有数据帧的队列中提取加入时刻最 早的数据帧， 包括： 当所述队列集中的全部队列都匹配了数据帧， 或者所述队列集中的任一队列匹配的数 据帧数量超出 该队列对应的最大缓存量时， 提取 所述各个队列中加入时刻最 早的数据帧。 3.根据权利要求2所述的多路采集数据的同步输出方法， 其特征在于， 所述队列集中队 列的最大缓存量是根据对应的数据流的延时以及所有的数据流的延时中的最大延时得到 的； 所述最大缓存量的计算公式为： queue_max_size_n ＝(delay_max ‑delay_n)*FP Sn 其中， queue_max_size_n表示所述队列集中第n 队列对应的所述最大缓存量， delay_ max表示所有数据流的传输延时中的最大延时， delay_n表示所述队列集中第n队列对应的 数据流的传输延时， FP Sn表示所述队列集中第n队列对应的数据流的采样频率。 4.根据权利要求3所述的多路采集数据的同步输出方法， 其特征在于， 所述根据 所述参 考数据帧和所述目标数据帧之间的时间戳差值， 判断所述 目标数据帧是否符合同步条件， 包括： 根据所述 参考数据帧和所述目标 数据帧分别对应的帧间隔时长确定目标比较值； 判断所述参考数据帧和所述目标数据帧之间的时间戳差值是否小于或等于所述目标 比较值； 若是， 则确定所述目标 数据帧符合同步条件； 若否， 则确定所述目标 数据帧不符合同步条件。 5.根据权利要求3所述的多路采集数据的同步输出方法， 其特征在于， 所述根据 所述参 考数据帧和所述目标 数据帧分别对应的帧间隔时长确定目标比较值， 包括： 确定所述参考数据帧和所述目标数据帧分别对应的帧间隔时长中的较小值作为目标 时长； 将所述目标时长的一半作为所述目标比较值。 6.根据权利要求1所述的多路采集数据的同步输出方法， 其特征在于， 所述根据 所述参 考数据帧和所述目标数据帧之 间的时间戳差值， 判断所述目标数据帧是否符合同步条件之 后， 包括： 若否， 则将所述待 同步数据包中剩余的数据帧归还给对应的队列， 并将所述缓存中的权　利　要　求　书 1/2 页 2 CN 115484407 A 2数据帧标记为异常输出。 7.根据权利要求1所述的多路采集数据的同步输出方法， 其特征在于， 所述根据 所述参 考数据帧和所述目标数据帧之 间的时间戳差值， 判断所述目标数据帧是否符合同步条件之 后， 包括： 若是， 则将所述目标数据帧输至缓存， 并在所述待 同步数据包中还有剩余数据帧时将 缓存中的目标数据帧作为新的参考数据帧； 从所述待同步数据包剩余的数据帧中提取出时 间戳最早的数据帧作为 新的目标 数据帧， 判断所述 新的目标 数据帧是否符合同步条件。 8.一种多路采集数据的同步输出系统， 其特 征在于， 包括： 数据接收模块， 用于接收多路数据流中的数据帧， 将每个数据帧加入至队列集中对应 的队列， 其中， 所述队列集中的每 个队列与每路数据流相对应； 第一数据提取模块， 用于分别提取所述队列集中存在数据帧的各个队列中加入时刻最 早的数据帧， 得到待同步数据包； 第二数据提取模块， 用于从所述待同步数据包中提取出时间戳最早的数据帧作为参考 数据帧并输出至缓存， 将所述待同步数据包中剩余的数据帧中时间戳最早的数据帧作为目 标数据帧； 数据同步模块， 用于根据所述参考数据帧和所述目标数据帧之间的时间戳差值， 判断 所述目标数据帧是否符合同步条件； 若 是， 则将所述目标数据帧输至缓存， 并在所述待同步 数据包中没有剩余数据帧时将所述缓存中的数据帧标记为同步输出。 9.一种RGBD相机， 其特征在于， 包括： 发射器、 RGB图像采集器、 IR图像采集器、 处理器和 存储器； 所述存储器， 用于存储可在所述处理器上运行的同步输出程序， 所述同步输出程序被 所述处理器执行时实现如权利要求1 ‑7任一项所述的多路采集数据的同步输出方法的步 骤； 所述发射器， 用于向目标投射散斑图案； 所述RGB图像采集器， 用于采集RGB数据； 所述IR图像采集器， 用于采集目标反射回来的IR数据； 所述处理器， 用于获取所述RGB 数据和所述IR数据， 利用所述IR数据进行深度计算得到 深度数据， 并执行所述同步输出程序， 以实现所述RGB数据、 所述IR数据和所述深度数据同 步输出。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有一个或者 多个程序， 所述一个或者多个程序可被一个或者多个处理器执行， 以实现如权利要求 1‑7任 一项所述的多路采集数据的同步输出 方法的步骤。权　利　要　求　书 2/2 页 3 CN 115484407 A 3