(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211397904.3 (22)申请日 2022.11.09 (71)申请人 南京码极客科技有限公司 地址 210000 江苏省南京市浦口区新北路1 号江北国际智谷B栋 5层 (72)发明人 姚亚洲　沈复民　孙泽人　陈涛　 白泞玮　 (74)专利代理 机构 安徽宏铎知识产权代理事务 所(普通合伙) 3425 0 专利代理师 菅秀君 (51)Int.Cl. G06F 16/43(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于局部自注意力的细粒度跨媒体检 索方法 (57)摘要 本发明公开一种基于局部自注意力的细粒 度跨媒体检索方法， 包括公共空间学习、 损失函 数和可学习的位置编码， 本发明中的方法使用注 意力机制来学习特征映射矩阵， 从而将不同的媒 体数据映射到同一个公共空间中进行相似性度； 由于自注意力机制可以学习特征之间有意义的 相互依赖关系， 因此本发明使用它来计算局部区 域内每个特征之间的相似性从而生成特征映射 矩阵， 可以通过端到端的方式进行训练， 非常灵 活， 同时与传统自注意力网络相比， 本发明提出 的方法在添加位置编码后可以像卷积层一样学 习特征的空间信息 。 权利要求书2页 说明书7页 附图1页 CN 115455208 A 2022.12.09 CN 115455208 A 1.一种基于局部自注意力的细粒度跨媒体检索方法， 其特征在于， 包括公共空间学习、 损失函数和可 学习的位置编码， 具体的检索步骤为： S1.采用通用的网络结构来同时训练不同的媒体数据， 并制定公共空间学习策略将不 同的特征映射到同一公共空间； S2.公共空间学习的过程， 通过特征图的通道、 长度和宽度， 推导出需要学习的特征映 射矩阵； S21.通过线性变换提取查询向量、 键向量和值向量； S22.通过两组关系函数拼接查询向量和键向量； S3.使用跨媒体度量学习方法来验证公共空间学习结构， 通过分类损 失区分每种媒体 中细粒度语义特 征； S4.使用两组卷积层来学习方向信息， 并使用线性映射将维度转为与值向量相同的通 道维度。 2.根据权利要求1所述的一种基于局部自注意力的细粒度跨媒体检索方法， 其特征在 于， 在S1中， 在监督学习任务中， 训练输入以样本标签对 形式给出， 其中 是一 个d维的特 征向量， 是其细粒度标签； 公共空间学习定义 为以下形式： 其中I、 V、 A、 T代 表图像、 视频、 音频、 文本； 代表学习特 征映射矩阵 。 3.根据权利要求2所述的一种基于局部自注意力的细粒度跨媒体检索方法， 其特征在 于， 在S2中， 公共空间特 征学习表示 为： 输入特征为 ， 输出特征为 ， 其中 分别表示特征 图的通道、 长度和宽度， 是需要学习的特 征映射矩阵。 4.根据权利要求1所述的一种基于局部自注意力的细粒度跨媒体检索方法， 其特征在 于， 在S21中， 以 大小的局部区域为例， 对于 大小的特征图， 首先通过线性变换 提取查询向量 、 键向量 和值向量 ： 其中， 是一个可训练的权重参数、 是每个查询特征的位置、 是以 为中心的局部区 域中的每一个位置 。 5.根据权利要求1所述的一种基于局部自注意力的细粒度跨媒体检索方法， 其特征在 于， 在S22中,将查询向量转为一个大小为 的多通道长序列， 序列中每个位置 的特征对应于查询特征 ， 并将键向量转为一个大小为 的 多通道长序列； 对于查询向量中的每一个特征 ， 在键向量中都有 一个相对应的权　利　要　求　书 1/2 页 2 CN 115455208 A 2局部区域特征 ， 其中 ； 通过关系函数 拼接查询向量和键向量， 对 比两种 函数： 。 6.根据权利要求1所述的一种基于局部自注意力的细粒度跨媒体检索方法， 其特征在 于， 在S3中细粒度跨 媒体检索总损失函数定义如下： 对于分类损失 ， 使用一层平均池化层和一层线性层提取公共空间中的特征， 利用最 小化分类损失来减少媒体内样本细粒度差异； 分类损失 定义如下： 其中， 分别表示图像、 视频、 音频、 文本， 为标签， 为样本概 率特征； 对于中心损失 ， 使用一层平均池化层和一层线性层 提取公共空间中的特征， 然后 最小化中心损失来使同一类别下的不同媒体特 征更紧凑； 中心损失 定义如下： 其中， 表示在使用中心损 失时忽视样本具体的媒体类型， 只计算它们到中心 的距 离。 7.根据权利要求1所述的一种基于局部自注意力的细粒度跨媒体检索方法， 其特征在 于， 在S4中， 使用两个卷积层来学习特征之间的位置编码； 第一个卷积层使用 个卷积核来学习 个特征在 个不同通道上的方向信息， 并进行降维； 第二个卷积 层使用 个卷积核 来学习方向信息， 且线性映射将维度转为与值向量 相同的通道维度。权　利　要　求　书 2/2 页 3 CN 115455208 A 3