(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211258532.6 (22)申请日 2022.10.13 (71)申请人 深圳市旗扬特种装备技 术工程有限 公司 地址 518000 广东省深圳市宝安区航城街 道三围社区泰华梧桐工业园小雪 （13B） 栋 5层 (72)发明人 陈磊　黄金叶　 (74)专利代理 机构 成都顶峰专利事务所(普通 合伙) 51224 专利代理师 杨国瑞 (51)Int.Cl. G06V 20/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06T 7/73(2017.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 30/18(2022.01) G06V 30/19(2022.01) (54)发明名称 一种单双行车牌识别方法、 装置、 计算机设 备及存储介质 (57)摘要 本发明公开了一种单双行车牌识别方法、 装 置、 计算机设备及存储介质， 涉及车牌识别技术 领域。 所述方法是在获取样本训练集后， 将样本 训练集中的各个图像样本及对应的车牌号序列 信息输入预设的且能够进行车牌号序列建模和 车牌号字符定位建模的单双行车牌识别模型， 以 便进行模型训练， 然后将待识别的单行车牌图像 或双行车牌图像输入已完成训练的单双行车牌 识别模型， 以便经过车牌号序列建模 单元输出得 到对应的且各个车牌号字符在车牌号序列中各 个字符位置上的出现概率预测值， 最后根据输出 数据得到 车牌号序列， 如此可无需对输入的待识 别车牌图像进行单双行车牌分类， 进而可直接进 行车牌识别并输出识别结果， 大大简化识别过 程， 降低计算资源需求。 权利要求书5页 说明书12页 附图4页 CN 115424255 A 2022.12.02 CN 115424255 A 1.一种单双行 车牌识别方法， 其特 征在于， 包括： 获取样本训练集， 其中， 所述样本训练集中的多个图像样本包括有单行车牌图像和双 行车牌图像， 所述多个图像样本中的各个图像样本标注有对应的车牌号序列信息， 所述车 牌号序列信息包含有按照车牌号序列顺序依次排列的多条字符坐标数据， 所述字符坐标数 据包含有对应字符的数字化唯一标识以及对应字符在所处车牌图像上的且经过归一化处 理的横坐标、 纵坐标、 宽度和高度； 将所述各个图像样本及对应的所述车牌号序列信 息输入预设的单双行车牌识别模型， 以便对所述单双行车牌识别模型进行训练， 其中， 所述单双行车牌识别模型包括有图像特 征提取单元、 空间金字塔池化单元、 车牌号序列建模单元、 车牌号字符定位建模 单元和损失 函数计算单 元； 所述图像特征提取单元， 用于从所述图像样本中提取出维度为K ×M×N的图像特征矩 阵， 并将所述图像特征矩阵送入所述空间金字塔池化单元,其中， K表示2、 3和 6的第一公倍 数， M表示2、 3和 6的第二公倍数且大于所述第一公倍数， N表示大于所述第二公倍数的正整 数； 所述空间金字塔池化单元， 用于对所述 图像特征矩阵分别做2 ×2、 3×3和6×6的最大 池化处理， 得到维度 分别为 和 的三个特征矩阵， 然后对 所述三个特征矩阵进行如下 方式(A)和(B)的处 理: (A)将所述三个特征矩阵中的各个特征矩阵的前两个维度变为一维， 得到维度分别为 和 的三个第一新特征矩阵， 然后拼接 所述三个第 一新特征矩阵， 得到维度为 的一个第二新特征矩阵， 再然后 对所述第二新特征矩阵做 的平均池化处理， 得到维度为Len × N的一个第三新特征矩阵， 最后将所述第三新特征矩阵输入所述车牌号序列建模单元， 其 中， Len表示车牌 号序列长度； (B)对所述三个 特征矩阵中的且维度分别为 和 的两个特征矩阵分 别做1×2和2×4的填充处理， 得到维度均为 的两个第四新特征矩阵， 然后对所述 两个第四新特征矩阵和所述三个特征矩阵中的且维度为 的特征矩阵进行拼接， 得到维度为 的一个第五新特征矩阵， 再然后对所述第五新特征矩阵做1 ×1 ×(3×(4+1))的卷积处理， 得到维度为 的第六新特征矩阵， 最后将所述第六新 特征矩阵输入所述车牌 号字符定位建模单 元；权　利　要　求　书 1/5 页 2 CN 115424255 A 2所述车牌号序列建模单元， 用于根据 所述第三新特征矩阵， 对车牌号序列进行建模， 输 出得到各个车牌 号字符在车牌 号序列中各个字符位置上的出现概 率预测值； 所述车牌号字符定位建模单元， 用于根据所述第六新特征矩阵， 对车牌号字符位置进 行建模， 输出得到各个字符格子预测框的横坐标预测值、 纵坐标预测值、 宽度预测值、 高度 预测值和置信度预测值； 所述损失函数计算单元， 用于根据 所述车牌号序列建模单元及所述车牌号字符定位建 模单元的输出 数据， 计算得到损失函数值； 将待识别的单行车牌图像或双行车牌图像输入已完成训练的所述单双行车牌识别模 型， 以便经 过所述车牌 号序列建模单 元输出得到对应的输出 数据； 针对所述待识别的单行车牌图像或双行车牌图像， 根据对应的输出数据， 确定对应的 且在所述各个字符位置上的车牌 号字符， 得到对应的车牌 号序列。 2.根据权利要求1所述的单双行车牌识别方法， 其特征在于， 所述图像特征提取单元包 括有沿从输入至输出方向依次布置的第一卷积层、 第二卷积层、 第一卷积残差子单元、 第二 卷积残差子单元、 第三卷积残差子单元、 第四卷积残差子单元、 第十一卷积层、 跨阶段局部 网络CSPNet层和第五卷积残差子单元， 其中， 所述第一卷积残差子单元、 所述第二卷积残差 子单元、 所述第三卷积残差子单元、 所述第四卷积残差子单元和所述第 五卷积残差子单元 分别包括有沿 从输入至 输出方向依次布置的两个卷积层和一个残差块； 所述跨阶段局部网络CSPNet层， 用于将输入分为两部分： 一部分前向传入内部的dense 块， 另一部分作为图像特 征矩阵送入所述空间金字塔池化单 元。 3.根据权利要求1所述的单双行车牌识别方法， 其特征在于， 所述车牌号序列建模单元 采用transformer语言模型对车牌 号序列进行建模； 所述transformer语言模型的输入数据由两部分组成： 一部分是所述第三新特征矩阵， 另一部分是通过词嵌入法将车牌号转化 成维度为Len ×128的特征向量， 将所述第三新特征 矩阵与所述特 征向量相加后构成输入数据， 以便 输入所述t ransformer语言模型。 4.根据权利要求3所述的单双行车牌识别方法， 其特征在于， 所述词嵌入法采用基于 Word2Vec模型的词嵌入法。 5.根据权利要求3所述的单双行车牌识别方法， 其特征在于， 所述transformer语言模 型的最末全连接层采用Softmax函数作为激活函数。 6.根据权利要求1所述的单双行车牌识别方法， 其特征在于， 根据 所述车牌号序列建模 单元及所述车牌 号字符定位建模单 元的输出 数据， 计算得到损失函数值， 包括： 根据所述车牌号序列建模单元及所述车牌号字符定位建模单元的输出数据， 按照如下 公式计算得到损失函数值 Loss：权　利　要　求　书 2/5 页 3 CN 115424255 A 3