(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211269708.8 (22)申请日 2022.10.18 (71)申请人 山东建筑大学 地址 250000 山东省济南市历城区临港开 发区凤鸣路10 00号 申请人 山东大学 (72)发明人 王少华　史洋　刘兴波　聂秀山　 尹义龙　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 马海波 (51)Int.Cl. G06F 16/58(2019.01) G06F 16/22(2019.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06V 10/26(2022.01) G06V 10/74(2022.01) (54)发明名称 一种基于序数哈希的图像 检索方法及系统 (57)摘要 本发明属于图像检索相关领域， 本发 明提出 了一种基于序数哈希的 图像检索方法及系统， 利 用视觉Transformer和卷积神经网络， 即保留卷 积神经网络归纳偏置的优势； 同时使用视觉 Transformer弥补大跨度信息缺失的问题， 同时 增强图像的局部空间信息的利用。 权利要求书2页 说明书6页 附图1页 CN 115357747 A 2022.11.18 CN 115357747 A 1.一种基于序数哈希的图像 检索方法， 其特 征在于， 包括以下步骤： 获取图像并进行 标签标注， 作为训练数据集； 将训练数据集中的图像输入至检索模型进行训练， 得到训练好的检索模型； 其中， 所述检索模型包括卷积神经网络模块、 视觉Transformer模块； 将训练数据集中 的图像、 图像经过处理后得到的分割图像 分别输入至卷积神经网络模块、 视觉Transformer 模块得到第一特征、 第二特征； 将第一特征和第二特征基于维度进行按位相乘， 得到哈希 码； 将待检索的图像输出至训练好的检索模型， 输出检索结果。 2.如权利要求1所述的一种基于序数哈希的图像检索方法， 其特征在于， 将分割图像通 过线性投影层映射为D维分割图像向量， 将D维分割图像向量与预设可学习嵌入进 行结合得 到嵌入向量， 将嵌入向量输入至 视觉Transformer模块， 输出第二特 征。 3.如权利要求2所述的一种基于序数哈希的图像检索方法， 其特征在于， 所述视觉 Transformer模块由Transformer编码器组成， 所述Transformer编码器由交替的多层子注 意力层和多层感知器组成， 在每一个层前使用层归一 化， 在每一个层后使用残差连接 。 4.如权利要求1所述的一种基于序数哈希的图像检索方法， 其特征在于， 所述卷积神经 网络模块采用Resnet50， 将图像输入至卷积神经网络模块， 输出与第二特征维度一致的第 一特征。 5.如权利要求1所述的一种基于序数哈希的图像 检索方法， 其特 征在于， 将第一特 征和第二特 征按位相乘， 得到序数哈希的感知表示； 将序数哈希的感知表示进行排序， 得到序数哈希的排序表示； 将序数哈希的排序表示基于最大维度， 输出哈希码。 6.如权利要求1所述的一种基于序数哈希的图像检索方法， 其特征在于， 利用损失函数 和随机梯度下降算法对检索模型的参数进行调整， 所述损失函数采用样本相似性损失。 7.一种基于序数哈希的图像 检索系统， 其特 征在于， 包括： 获取模块， 其被 配置为： 获取图像并进行 标签标注， 作为训练数据集； 模型建立及训练模块， 其被配置为： 将训练数据集中的图像输入至检索模型进行训练， 得到训练好的检索模型； 其中， 所述检索模型包括卷积神经网络模块、 视觉Transformer模块； 将训练数据集中 的图像、 图像经过处理后得到的分割图像 分别输入至卷积神经网络模块、 视觉Transformer 模块得到第一特征、 第二特征； 将第一特征和第二特征基于维度进行按位相乘， 得到哈希 码； 检索输出模块， 其被配置为： 将待检索的图像输出至训练好的检索模型， 输出检索结 果。 8.如权利要求7所述的一种基于序数哈希的图像检索系统， 其特征在于， 在模型建立及 训练模块中， 将分割图像通过线性投影层映射为D维分割图像 向量， 将D维分割图像 向量与 预设可学习嵌入进行结合得到嵌入向量， 将嵌入向量输入至视觉Transformer模块， 输出第 二特征。 9.如权利要求8所述的一种基于序数哈希的图像检索系统， 其特征在于， 所述视觉 Transformer模块由Transformer编码器组成， 所述Transformer编码器由交替的多层子注权　利　要　求　书 1/2 页 2 CN 115357747 A 2意力层和多层感知器组成， 在每一个层前使用层归一 化， 在每一个层后使用残差连接 。 10.如权利要求7所述的一种基于序数哈希的图像检索系统， 其特征在于， 在模型建立 及训练模块中， 将第一特 征和第二特 征按位相乘， 得到序数哈希的感知表示； 将序数哈希的感知表示进行排序， 得到序数哈希的排序表示； 将序数哈希的排序表示基于最大维度， 输出哈希码。权　利　要　求　书 2/2 页 3 CN 115357747 A 3