(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211432356.3 (22)申请日 2022.11.16 (71)申请人 山东科技大 学 地址 266590 山东省青岛市黄岛区前湾港 路579号 (72)发明人 王晓敏　李宁宁　孙振东　郑舟　 孔旭　 (74)专利代理 机构 青岛清泰联信知识产权代理 有限公司 3725 6 专利代理师 杨烨 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/82(2022.01) G06T 7/33(2017.01) G06T 7/73(2017.01)G06N 3/04(2006.01) (54)发明名称 移动机器人目标定位方法及系统 (57)摘要 本申请涉及目标识别技术领域， 特别是涉及 移动机器人目标定位方法及系统。 该方法包括： 目标识别步骤， 采集目标彩色图像及深度图像， 识别目标彩色图像得到其在彩色图像的彩色区 域框； 深度信息获取步骤， 建立摄像机模型并进 行摄像机标定后建立配准关系， 并基于优化误差 函数对配准 关系进行迭代优化， 得到目标在深度 图像的深度区域框； 点云数据获取步骤， 获取深 度区域框内有效深度数据， 选取有效深度数据中 的避障目标深度数据， 并获取目标在深度摄像机 坐标系下的点云数据； 目标定位步骤， 将点云数 据转换至彩色摄像机坐标系以确定目标位姿， 拟 合得到移动机器人的避障目标区域。 本申请解决 彩色图像到深度图像配准的问题， 降低运行成 本， 简单便捷。 权利要求书3页 说明书12页 附图7页 CN 115496898 A 2022.12.20 CN 115496898 A 1.一种移动机器人目标定位方法， 其特 征在于， 包括： 目标识别步骤， 采集目标彩色图像及深度图像， 通过一预训练后的MobileNetV3 ‑SSD模 型识别所述目标彩色图像得到目标在所述彩色图像的彩色区域框； 深度信息获取步骤， 建立Kinect  v2摄像机模型并进行摄像机标定， 得到彩色摄像机、 深度摄像机的内参数、 畸变参数及外参数， 以建立彩色图像向深度图像转换的配准关系， 并 基于一优化误差函数对所述配准关系进行迭代优化， 基于优化后的配准关系得到目标在深 度图像的深度区域框， 所述优化 误差函数通过以下计算模型计算得到： ， 其中， 是迭代i次后的目标点在彩色图像平面的彩色投影 坐标， prgb0为目标点在彩 色图像上真实像素坐标， i=1,2,…,n，n为迭代次数； 点云数据获取步骤， 通过遍历所述深度区域框获取其内所有有效深度数据， 基于一预 设避障范围选取所述有效深度数据中的避障目标深度数据， 并获取目标在深度摄像机坐标 系下的点云数据； 目标定位步骤， 将所述点云数据转换至彩色摄像机坐标系以确定目标在 彩色摄像机坐 标系下的位姿， 拟合得到所述移动机器人的避障目标区域。 2.根据权利要求1所述的移动机器人目标定位方法， 其特征在于， 所述深度信 息获取步 骤包括： 配准关系建立步骤， 建立Kinect  v2摄像机模型并进行摄像机标定， 得到彩色摄像机和 深度摄像机的内参数Argb和Adepth、 畸变参数、 彩色摄像机的外参 数Rrgb和Trgb及深度摄像机的 外参数Rdepth及Tdepth， 从而计算出彩色摄像机和深度摄像机坐标系之间的旋转矩阵和平移 向量， 建立彩色图像向深度图像转换 的配准关系， 所述配准关系基于如下计算模型计算得 到： ρ1pdepth=ρ2AdepthRdepthRrgb‑1Argb‑1prgb+Adepth(Tdepth‑RdepthRrgb‑1Trgb)， 其中，ρ1为深度图像中的深度信息， ρ2为彩色图像中的深度信息， prgb为目标点在彩色图 像平面的彩色投影坐标， pdepth为目标点在深度图像平面的深度投影坐标； 配准迭代优化步骤， 基于Kinect  v2中彩色摄像机和深度摄像机标定后的真实旋转平 移关系以及Ki nect v2摄像机模型， 对配准进行迭代优化。 3.根据权利要求2所述的移动机器人目标定位方法， 其特征在于， 所述配准迭代优化步 骤进一步包括： 深度值获取步骤， 使彩色摄像机和深度摄像机处于设定近似平行关系后旋转深度摄像 机使彩色摄像机和深度摄像机处于 真实旋转平移关系， 分别采集对应关系下所述目标点在 深度图像的深度值， 得到初始深度值 ρ10=zdepth0及更新深度值 ρ11=zdepth1； 优化误差函数建立步骤， 根据 所述真实旋转平移关系及深度摄像机坐标系和彩色摄像 机坐标系各自的外参数将深度摄像机坐标Pdepth1转换得到彩色投影坐标prgb1， 并建立所述 优化误差函数； 优化误差函数迭代步骤， 配置迭代范围对深度值 ρ1i=zdepthi进行迭代， 得到误差函数最权　利　要　求　书 1/3 页 2 CN 115496898 A 2小的深度值并将对应深度投影坐标经坐标系转换得到所述目标点的彩色摄像机坐标 ， 实现所述目标点彩色图像向深度图像的配准。 4.根据权利要求1所述的移动机器人目标定位方法， 其特征在于， 所述有 效深度数据通 过将深度图像转换为灰度图像后， 基于如下计算模型计算得到： depth_value =k×gray_value ， 其中，k为尺度因子； gray_value 为灰度值。 5.根据权利要求4所述的移动机器人目标定位方法， 其特征在于， 所述点云数据通过如 下计算模型计算得到： ， 其中， (u,v)用于深度图像上的坐标点， d为坐标点的深度值， fx、fy表示深度摄像机的焦 距f在x、y方向上像素度量， cx、cy表示光轴对于投影平面 坐标中心的偏移量。 6.根据权利要求1所述的移动机器人目标定位方法， 其特征在于， 所述移动机器人的避 障目标区域为球面， 通过构造一 目标函数并对所述 目标函数 的向量求解偏导数为0求解所 述球面； 其中， 所述球面表示 为： ； 所述目标函数表示 为： 。 7.根据权利要求6所述的移动机器人目标定位方法， 其特征在于， 所述避障目标区域还 包括一检测得到的避障目标最远距离构成的平面， 所述避障目标区域通过如下计算模型计 算得到： ， 其中，zmax为所述目标最远距离， δ为预设避障安全 裕度。 8.一种移动机器人目标定位系统， 用于实现如权利要求1 ‑7中任一项所述的移动机器 人目标定位方法， 其特 征在于， 包括： 目标识别模块， 用于采集目标彩色图像及深度图像， 通过一预训练后的MobileNetV3 ‑ SSD模型识别所述目标彩色图像得到目标在所述彩色图像的彩色区域框； 深度信息获取模块， 用于建立Kinect  v2摄像机模型并进行摄像机标定， 得到彩色摄像 机、 深度摄像机的内参数、 畸变参数及外参数， 以建立彩色图像向深度图像转换的配准关 系， 并基于一优化误差函数对所述配准关系进行迭代优化， 基于优化后的配准关系得到目 标在深度图像的深度区域框； 点云数据获取模块， 用于通过遍历所述深度区域框获取其内所有有效深度数据， 基于 一预设避障范围选取所述有效深度数据中的避障目标深度数据， 并获取目标在深度摄像机 坐标系下的点云数据；权　利　要　求　书 2/3 页 3 CN 115496898 A 3