(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211296870.9 (22)申请日 2022.10.21 (71)申请人 苏州轻棹科技有限公司 地址 215100 江苏省苏州市相城区高铁新 城青龙港路66号领寓商务广场1幢21 层2101-2108室 (72)发明人 杨晓东　蔡沐　罗晨旭　 (74)专利代理 机构 北京慧诚智道知识产权代理 事务所 (特殊普通合伙) 11539 专利代理师 戴燕 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多模态信息进行自监督学习的处 理方法和装置 (57)摘要 本发明实施例涉及一种基于多模态信息进 行自监督学习的处理方法和装置， 所述方法包 括： 提取原始点云和第一环视图； 对原始点云进 行数据增强生成第一、 第二点云； 进行地面点云 过滤； 将第一、 第二点云输入点云鸟 瞰特征提取 网络生成第一、 第二特征图； 将第一环视图输入 图像鸟瞰特征提取网络生 成第三特征图； 进行第 一多模态信息样本准备处理； 对第一、 第二点云 进行鸟瞰平面聚类； 进行样本聚类处理； 进行第 二多模态信息样本准备处理； 构建第一多模态、 第二多模态和整体损失函数对点云鸟瞰特征提 取网络的网络参数进行学习。 通过本发明， 可 以 缩短数据准备时间、 提高网络的学习精度和训练 充分度。 权利要求书5页 说明书16页 附图2页 CN 115471807 A 2022.12.13 CN 115471807 A 1.一种基于多模态信息进行自监 督学习的处 理方法， 其特 征在于， 所述方法包括： 从第一训练数据集中任选一个第一训练数据记录进行原始点云和环视图提取处理生 成对应的原 始点云和第一环视图； 从多个数据增强方式中任选两种方式分别对所述原始点云进行对应的数据增强处理 生成对应的第一、 第二 点云； 并对所述第一、 第二 点云进行地 面点云过滤处理； 将所述第一点云与所述第二点云分别输入点云鸟瞰特征提取网络进行特征提取处理 生成对应的第一特征图和 第二特征图； 并将所述第一环视图输入训练成熟的图像鸟瞰特征 提取网络进行特征提取处理生成对应的第三特征图； 并根据所述第一、 第二和第三特征图 进行第一多模态信息样本准备处 理得到对应的第一、 第二和第三样本序列； 并按预设的聚类数量Q分别对所述第 一、 第二点云进行鸟瞰平面 聚类得到对应的第一、 第二平面聚类空间序列； 并根据所述第一、 第二平面聚类空间序列对 所述第一、 第二和第三 样本序列进行样本聚类处理生成对应的第一、 第二和第三聚类样本序列集合； 并根据所述 第一、 第二和第三聚类样本序列集合进行第二多模态信息样本准备处理得到对应的第四、 第五和第六样本序列； 根据所述第一、 第二、 第三、 第四、 第五和第六样本序列构建第一多模态损失函数L1、 第 二多模态损失函数L2和整体损失函数Lall， 并根据所述第一多模态损失函数L1、 所述第二多 模态损失函数L2和所述整体损失函数Lall对所述点云鸟瞰特征提取网络的网络参数进行学 习。 2.根据权利要求1所述的基于多模态信息进行自监 督学习的处 理方法， 其特 征在于， 所述第一训练数据集包括多个所述第 一训练数据记录； 所述第 一训练数据记录包括第 一场景标识字段、 第一场景信息 字段、 第一 点云字段和第一环视图字段； 所述多个数据增强方式包括旋转方式、 加噪声方式、 降采样方式和随机遮挡方式； 所述点云鸟瞰特征提取网络与所述图像鸟瞰特征提取网络的鸟瞰平面的平面空间范 围一致记为对应的第一鸟瞰平面； 所述点云鸟瞰特征提取网络与所述图像鸟瞰特征提取网 络的输出特征形状相同都为H ×W×D， H、 W、 D都为正整数， H、 W为预设的鸟瞰特征图的高度、 宽度， D为预设的鸟瞰特征图的特征维度； 所述第一鸟瞰平 面包括H×W个第一鸟瞰网格ri,j, 1≤i≤H， 1≤j≤W； 所述第一、 第二和第三特征图的形状均 为H×W×D； 所述第一特征图由H*W个长度为D的 第一特征向量ai,j组成,各个所述第一特征向量ai,j对应一个所述第一鸟瞰网格ri,j； 所述第 二特征图由H*W个长度为D的第二特征向量bi,j组成,各个所述第二特征向量bi,j对应一个所 述第一鸟瞰网格ri,j； 所述第三特征图由H*W个长度为D的第三特征向量ci,j组成,各个所述 第二特征向量bi,j对应一个所述第一鸟瞰网格ri,j； 所述第一平面聚类空间序列包括所述聚类数量Q的第一平面聚类空间s1,f， 1≤f≤Q； 所 述第二平面聚类空间序列包括所述聚类数量Q的第二平面聚类空间s2,f； 序列索引f相同的 所述第一平面聚类空间s1,f与所述第二平面聚类空间s2,f的空间距离最短； 所述第一聚类样本序列集合包括多个第 一聚类样本序列； 所述第 一聚类样本序列包括 多个第一聚类样本； 所述第二聚类样本序列集合包括多个第二聚类样本序列； 所述第二聚 类样本序列包括多个第二聚类样本； 所述第三聚类样本序列集合包括多个第三聚类样本序 列； 所述第三聚类样本序列包括多个第三聚类样本 。权　利　要　求　书 1/5 页 2 CN 115471807 A 23.根据权利要求2所述的基于多模态信息进行自监 督学习的处 理方法， 其特 征在于， 所述点云鸟瞰特 征提取网络为Po intPillars网络的点云柱特 征网络。 4.根据权利要求2所述的基于多模态信 息进行自监督学习的处理方法， 其特征在于， 所 述从第一训练数据集中任选一个第一训练数据记录进行原始点云和环视图提取处理生成 对应的原 始点云和第一环视图， 具体包括： 从所述第一训练数据集中任选一个所述第 一训练数据记录作为当前训练数据记录； 并 将所述当前训练数据记录的所述第一点云字段和所述第一环视图字段提取出来作为对应 的所述原 始点云和所述第一环视图。 5.根据权利要求2所述的基于多模态信 息进行自监督学习的处理方法， 其特征在于， 所 述从多个数据增强方式中任选两种方式分别对所述原始点云进行对应的数据增强处理生 成对应的第一、 第二 点云， 具体包括： 从所述多个数据增强方式中任选两种方式作为对应的第一、 第二方式； 并基于所述第 一方式对所述原始 点云进行对应的第一数据增强处理生成对应的所述第一点云； 并基于所 述第二方式对所述原 始点云进行对应的第二数据增强处 理生成对应的所述第二 点云。 6.根据权利要求2所述的基于多模态信 息进行自监督学习的处理方法， 其特征在于， 所 述对所述第一、 第二 点云进行地 面点云过滤处理， 具体包括： 将所述第一、 第二点云中高度坐标为0的点都标记为地面点； 并将所述第一、 第二点云 中的所有所述 地面点都删除。 7.根据权利要求2所述的基于多模态信 息进行自监督学习的处理方法， 其特征在于， 所 述根据所述第一、 第二和第三特征图进行第一多模态信息样本准备处理得到对应的第一、 第二和第三样本序列， 具体包括： 对所述第一鸟瞰平面的各个所述第一鸟瞰网格ri,j进行遍历； 遍历时， 将当前遍历的所 述第一鸟瞰网格ri,j作为对应的当前网格； 并对所述当前网格对应的所述第一特征向量 ai,j、 所述第二特征向量bi,j和所述第三特征向量ci,j是否都不为全0向量进行识别； 若是， 则 由所述当前网格对应的所述第一特征向量ai,j、 所述第二特征向量bi,j和所述第三特征向量 ci,j组成对应的第一非零向量组； 对得到的所述第 一非零向量组的总数进行统计生成对应的第 一数量M； 并由M个所述第 一非零向量组对应的M个所述第一特征向量ai,j、 M个所述第二特征向量bi,j和M个所述第三 特征向量ci,j组成对应的所述第一、 第二和第三样本序列； 所述第一样本序列包括M个第一 样本P1,k， 各个所述第一样 本P1,k对应一个所述第一特征向量ai,j， 1≤k≤M； 所述第二样 本序 列包括M个第二样本P2,k， 各个所述第二样本P2,k对应一个所述第二特征 向量bi,j； 所述第三 样本序列包括M个第三样本P3,k， 各个所述第三样本P3,k对应一个所述第三特征 向量ci,j； 脚 标k相同的所述第一样本P1,k、 所述第二样本P2,k和所述第三样 本P3,k对应的所述第一特征向 量ai,j、 所述第二特 征向量bi,j和所述第三特 征向量ci,j同属一个所述第一非零向量组。 8.根据权利要求2所述的基于多模态信 息进行自监督学习的处理方法， 其特征在于， 所 述按预设的聚类数量Q分别对所述第一、 第二点云进 行鸟瞰平面聚类得到对应的第一、 第二 平面聚类空间序列， 具体包括： 基于预设的无监督聚类算法和设定的所述聚类数量Q， 对所述第一点云进行点云聚类 处理得到所述聚类数量Q的第一点云簇； 并基于所述无监督聚类算法和设定的所述聚类数权　利　要　求　书 2/5 页 3 CN 115471807 A 3