(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211278374.0 (22)申请日 2022.10.19 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路2号 (72)发明人 马艳华　张心宇　李雪松　李伟明　 董昕元　 (74)专利代理 机构 辽宁鸿文知识产权代理有限 公司 21102 专利代理师 许明章　王海波 (51)Int.Cl. G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/77(2022.01)G06V 10/82(2022.01) (54)发明名称 一种基于改进SECOND网络的点云目标检测 方法 (57)摘要 本发明属于三 维目标检测技术领域， 公开了 一种基于改进SECOND网络的点 云目标检测方法。 本方法首先将原始点云数据进行裁剪和划分， 将 整张点云图区域划分为有着相同大小的体素； 然 后， 使用一种考虑了体素内部空间位置关系的体 素特征编码器， 将体素中的所有点的特征编码为 一个张量作为该体素的特征； 随后， 通过稀疏卷 积和使用ResNeXt模 块增强了 特征提取能力的骨 干网络实现提取特征； 最后， 将送入多检测头的 检测网络， 得到预测检测结果。 通过本发明设计 的基于改进SECOND网络的道路目标检测方法， 可 以解决点云目标中难例检测的效果不佳问题， 大 大提升了检测的准确率， 为基于激光雷达的三维 点云目标检测领域发展提供技 术支撑。 权利要求书2页 说明书5页 附图2页 CN 115457335 A 2022.12.09 CN 115457335 A 1.一种基于改进SE COND网络的点云目标检测方法， 其特 征在于， 步骤如下： 步骤1： 获取待检测道路目标的三维点云数据； 步骤2： 对步骤1中得到的三维点云数据进行数据的预处理， 按照相同的大小对步骤1中 所得到三维点云数据中的点云范围进行裁剪并划分， 得到新的三维点云图， 该三维点云图 保持原本的各点相对空间位置， 不同的是 各点被分别划分给了不同的体素； 步骤3： 通过引入各体素内部的各点空间位置信息， 将其编码到对应的点特征信息中， 构建体素特征编 码器； 对步骤2中各体素内的点进 行编码并使用现行层特征整合， 得到代表 各体素的特 征张量， 获得三维特 征图； 步骤3.1： 对三维点云图中的每个体素的几何空间中心点坐标进行计算， 得到各体素对 应的三维坐标Cvoxel； 步骤3.2： 以体素为单位， 计算体素内的每个点与其对应体素的空间位置中心Cvoxel的坐 标差值Coffset； 步骤3.3： 为获取点与体素的相对空间信 息， 对体素中各点与其对应的体素空间中心点 坐标的欧几里 得距离进行计算， 得到各点到中心点的距离 Ceuclidean， 其特征维度为1 维； 步骤3.4： 使用上述步骤中得到的新的特征： 各体素对应的三维坐标Cvoxel、 各点与其对 应体素的空间位置中心的坐标差值Coffset、 各点到中心点的距离Ceuclidean， 对体素中各点的 特征维度进行扩充； 在步骤1中获得的三维点云数据中， 每个原始点的特征F包含三维坐标 和反射强度共四个维度， 现对其进行扩充， 按照Ceuclidean， Cvoxel， F， Coffset的顺序， 在特征维度 上对各特征进行拼接， 得到新的张量F ‘作为点的新的特 征； 步骤3.5： 将扩充的特征F ‘经过线性层、 批归一化层和线性整流函数来进行特征的整 合， 并将计算结果在体素张量的点维度上进行最大池化， 得到每个体素中各点的最大值来 代表各体素的高维特 征， 用于后续网络进行提取 特征操作； 步骤4： 为适应点云的数据稀疏性， 提高计算的效率与速度， 使用稀疏卷积构建稀疏卷 积网络， 对步骤3中得到的体素构成的三 维特征图做三 维卷积运算来提取 空间特征， 并对运 算得到的稀疏 特征图使用Z轴方向压缩， 压缩到二维的俯视特 征图； 步骤5： 为了在二维的俯视特征图上有效的进行提取特征， 引入残差多路卷积模块构建 二维卷积神经网络， 在步骤4得到俯视特征图中进 行特征提取， 得到包含不同尺度信息的二 维特征图； 步骤5.1： 对步骤4中得到的二维俯视特征图进行降维卷积来减小计算量， 得到尺寸保 留原大小， 维度变为原来 一半的特 征图f1； 步骤5.2： 引 入残差多路卷积网络结构， 将普通卷积替换为残差多路卷积， 构建残差多 路卷积模块来对 特征图f1进 行多次提取特征， 得到与输入 特征图f1同等尺 寸与维度的特征 图f2； 步骤5.3： 为了得到分辨率更低且维度更高的特征图， 对特征图f2进行二倍卷积升维下 采样， 并再次使用步骤5.2中同样的方法， 构建残差多路卷积模块对其进行多次提取特征， 得到下采样后的特 征图f3； 步骤5.4： 使用转置卷积， 对特征图f3进行二倍上采样， 得到与输入特征图f3尺寸和维 度相等的特征图， 并将其与特征图f2进行通道维度上的拼接， 以得到特征图f4， 并对特征图 f4进行批归一 化、 线性整流 函数处理得到的二维特 征图用于后续检测头回归运 算；权　利　要　求　书 1/2 页 2 CN 115457335 A 2步骤6： 基于步骤5所得二维特征图， 使用RPN网络锚检测头进行分类和回归， 得到预测 框、 方向与类别。权　利　要　求　书 2/2 页 3 CN 115457335 A 3