(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211269544.9 (22)申请日 2022.10.18 (71)申请人 中国第一汽车股份有限公司 地址 130011 吉林省长 春市汽车 经济技术 开发区新红旗大街1号 (72)发明人 王祎男　梁贵友　关瀛洲　曹礼军　 翟诺　王迪　曹容川　张天奇　 (74)专利代理 机构 北京翔宇专利代理事务所 (普通合伙) 11960 专利代理师 田昱川 (51)Int.Cl. G06T 5/50(2006.01) G06N 3/04(2006.01) (54)发明名称 一种端到端视 觉里程计方法及装置 (57)摘要 本申请公开了一种端到端视觉里程计方法 及装置， 属于自动驾驶技术领域。 所述端到端视 觉里程计方法包括： 获取当前帧图像信息及前一 帧图像信息； 获取当前帧的亮度图像信息及前一 帧的亮度图像信息； 获取当前帧融合图像信息； 获取当前帧的前一帧的融合图像信息； 通过跳 跃‑融合‑FCNN方法对当前帧融合图像信息以及 当前帧的前一帧的融合图像信息进行特征提取 从而获取融合图像特征； 根据融合图像特征获取 摄像装置的位姿估计信息。 通过本申请的方法能 够增强图像的对比度， 提供更多的细节信息， 从 而提高图像特征提取的精度， 降低位姿估计过程 中的误差 。 权利要求书4页 说明书12页 附图2页 CN 115358962 A 2022.11.18 CN 115358962 A 1.一种端到端视觉里程计方法， 用于获取车辆上的摄像装置的位姿估计信息， 其特征 在于， 所述端到端视 觉里程计方法包括： 获取摄像装置所提供的当前帧图像信息以及当前帧的前一帧的图像信息； 分别对当前帧图像信 息以及当前帧的前一帧的图像信 息进行灰度变换处理， 从而获取 当前帧的亮度图像信息以及当前帧的前一帧的亮度图像信息； 对所述当前帧图像信 息以及当前帧的亮度图像信 息进行融合， 从而获取当前帧融合图 像信息； 对所述当前帧的前一帧的图像信 息以及当前帧的前一帧的亮度图像信 息进行融合， 从 而获取当前帧的前一帧的融合图像信息； 通过跳跃 ‑融合‑FCNN方法对所述当前帧融合图像信息以及所述当前帧的前一帧的融 合图像信息进行 特征提取从而获取融合图像特 征； 根据所述融合图像特 征获取摄 像装置的位姿估计信息 。 2.如权利要求1所述的端到端视觉里程计方法， 其特征在于， 所述对当前帧图像信 息进 行灰度变换处 理， 从而获取当前帧的亮度图像信息包括： 获取当前帧图像信息中的当前帧源图像序列； 将当前帧源图像序列变换到灰度空间， 对当前帧图像信息的各个像素进行集合划分， 从而将各个像素分成三组集合， 所述三组集合包括当前帧暗类像素集合， 当前帧中类像素 集合， 当前帧亮类 像素集合； 计算各组集 合中的各个 像素点的 曝光度； 根据所述曝光度对当前帧源图像序列进行灰度变换， 扩大欠曝光像素的灰度值， 从而 获取当前帧的亮度图像信息； 所述对当前帧的前一帧的图像信 息进行灰度变换处理， 从而获取当前帧的前一帧的亮 度图像信息包括： 获取当前帧的前一帧的图像信息中的当前帧的前一帧的图像序列； 将当前帧的前一帧的图像序列变换到灰度空间， 对当前帧的前一帧的图像信 息的各个 像素进行集合划分， 从而将各个像素分成三组集合， 所述三组集合包括当前帧的前一帧的 暗类像素集合， 当前帧的前一帧的中类 像素集合， 当前帧的前一帧的亮类 像素集合； 计算各组集 合中的各个 像素点的 曝光度； 根据所述曝光度对当前帧的前一帧的图像信 息进行灰度变换， 扩大欠曝光像素的灰度 值， 从而获取当前帧的前一帧的亮度图像信息 。 3.如权利要求2所述的端到端视觉里程计方法， 其特征在于， 对所述当前帧图像信 息以 及当前帧的亮度图像信息进行融合， 从而获取当前帧融合图像信息包括： 采用如下公式对所述当前帧图像信息以及当前帧的亮度图像信息进行融合： ； 其中， 表示当前 帧图像信息中像素p位置处的权重， ；I为当前帧源图像序 列；  为当前帧亮度图像信息； 表示当前帧融合图像信息； ；权　利　要　求　书 1/4 页 2 CN 115358962 A 2其中， 表示高斯滤波器， 和 分别表示傅里叶变换及其逆变换， 表示n×n矩 阵， 矩阵中的每个元素均为1/n2； 和 分别表示复数矩阵的实数部分和虚数部分；   为显著性图谱。 4.如权利 要求3所述的端到端视觉里程计方法， 其特征在于， 所述通过跳跃 ‑融合‑FCNN 方法对所述当前帧融合图像信息以及所述当前帧的前一帧的融合图像信息进行特征提取 从而获取融合图像特 征包括： 获取FCNN神经网络模型， 所述FCNN神经网络模型包括五个池化层以及七个卷积层， 其 中， 所述五个池化层分别称为第一池化层、 第二池化层、 第三池化层、 第四池化层以及第五 池化层； 所述七个卷积层分别称为第一卷积层、 第二卷积层、 第三卷积层、 第四卷积层、 第五 卷积层、 第六 卷积层以及第七卷积层； 将所述当前帧融合图像信息以及所述当前帧的前一帧的融合图像信息进行叠加从而 形成最终输入图像信息； 将所述最终输入图像信息输入至所述FCNN神经网络模型， 以使所述最终输入图像信息 依次经过第一卷积层、 第一池化层、 第二卷积层、 第二池化层、 第三卷积层、 第三池化层、 第 四卷积层、 第四池化层、 第五卷积层、 第五池化层、 第六 卷积层以及第七卷积层处 理； 根据经过所述第三池化层处理后的数据、 经过所述第四池化层处理后的数据以及经过 所述第七卷积层处 理后的数据生成第一路径特 征； 根据经过所述第二池化层处理后的数据、 经过所述第三池化层处理后的数据、 经过所 述第四池化层处 理后的数据以及经 过所述第七卷积层处 理后的数据生成第二路径特 征； 根据经过所述第一池化层处理后的数据、 所述第二池化层处理后的数据、 经过所述第 三池化层处理后的数据、 经过所述第四池化层处理后的数据以及经过所述第七卷积层处理 后的数据生成第三路径特 征； 将所述第一路径特征、 第二路径特征以及第三路径特征进行融合， 从而获取所述融合 图像特征。 5.如权利要求4所述的端到端视觉里程计方法， 其特征在于， 所述第一池化层、 第二池 化层、 第三池化层、 第四池化层以及第五池化层分别具有不同的参数； 所述根据 经过所述第 三池化层处理后的数据、 经过所述第四池化层处理后的数据以及 经过所述第七卷积层处 理后的数据生成第一路径特 征包括： 对经过所述第三池化层处理后的数据进行4倍下采样， 对经过所述第 四池化层处理后 的数据进行2倍下采样； 将经过所述4倍下采样的数据以及经过所述2倍下采样的数据与第七卷积层处理后的 数据进行求和 运算， 逐数据相加， 将三个不同深度的预测结果进行合并从而获取第一路径 特征。 6.如权利要求5所述的端到端视觉里程计方法， 其特征在于， 所述根据 经过所述第 二池 化层处理后的数据、 经过所述第三池化层处理后的数据、 经过所述第四池化层处理后的数 据以及经 过所述第七卷积层处 理后的数据生成第二路径特 征包括： 对经过所述第二池化层处理后的数据进行8倍下采样、 对经过所述第三池化层处理后 的数据进行4 倍下采样， 对经 过所述第四池化层处 理后的数据进行2倍下采样； 将经过所述8倍下采样的数据、 所述4倍下采样的数据以及经过所述2倍下采样的数据权　利　要　求　书 2/4 页 3 CN 115358962 A 3