(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211388743.1 (22)申请日 2022.11.08 (71)申请人 南京码极客科技有限公司 地址 210000 江苏省南京市浦口区新北路1 号江北国际智谷B栋 5层 (72)发明人 姚亚洲 黄丹 孙泽人 沈复民  (74)专利代理 机构 安徽宏铎知识产权代理事务 所(普通合伙) 3425 0 专利代理师 菅秀君 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于固定类别中心的样本 选择方法 (57)摘要 本发明公开一种基于固定类别中心的样本 选择方法, 包括固定类别中心, 样本选择和网络 更新, 本发明提出了一个固定类别中心的算法, 与其他的小损 失样本选择方法不同, SSFCC在进 行样本选 择之前最大化各子类的类间距离, 大大 的避免了不同细粒度子类间的样本的特征分布 重合, 进而提高样本选择的准确率; 采用平滑后 的交叉熵损失来进行网络的反向传播。 与常规的 交叉熵损失相比, 平滑后的交叉熵损失可以避免 网络的“过度自信 ”, 特别是在含噪条件下, 标签 平滑可以缓解网络由于错误预测而导致性能下 降的问题。 权利要求书3页 说明书8页 附图2页 CN 115439732 A 2022.12.06 CN 115439732 A 1.一种基于固定类别中心的样本选择方法, 其特征在于, 包括固定类别中心, 样本选择 和网络更新, 具体步骤如下: S1.将样本集 划分为两个集 合: 干净样本集 与噪声集 ; S2.同时训练两个对等深度神经网络, 两个深度神经网络分别从干净样本集 中学习 在超球面上均匀分布的类别中心并固定; S3.再各自挑选出与类别中心有较大余弦相似度的样本作为干净样本; S4.最后每 个深度神经网络使用对等深度神经网络挑选出的干净样本来更新网络 。 2.根据权利要求1所述的一种基于固定类别中心的样本选择方法, 其特征在于, 在S1 中, 将样本集 划分为两个集合: 干净样本集 与噪声集 , 样 本集 ; 挑选出干净样本集 并且更好的利用硬样本进行训练, 其中 是第i 个训练样本, 是 的标签; 以小损失方法挑选出二分之一的样本 用于生成类别中心, 挑选方式为: (6.1) 通过利用上述方式生成每个类的预定义中心, 最终生成均匀分布的类中心 。 3.根据权利要求2所述的一种基于 固定类别中心的样本选择方法, 其特征在于, 小损失 方法运用损失函数 的计算方式如下: (6.2) (6.3)  (6.4) 其中 (6.2) 为交叉熵损失, m为每个类之间 的余弦间隔, s用于提高收敛速度, 上式 (6.3) 是输出特征与预定义 中心之间 的最小损失函数, 是输出特征, 是相应的标号, 是指 预定义的类中心, 其中n  ≥ 1是一个可以调整的超参数。 4.根据权利要求1所述的一种基于固定类别中心的样本选择方法, 其特征在于, 在S3 中, 干净样 本利用特征归一化来约束 特征的L2范数进行挑选; 其中常规的L2约束的Softmax 输出如下:权 利 要 求 书 1/3 页 2 CN 115439732 A 2                                   (6.5) 上式中, 与 分别为深度神经网络f1或f2的最后一层的全连接层的参数与提取的特 征; 使用预训练生成的类别中心 来初始化全连接层的参数 , 并使用L2范数来约 束全连 接层的参数 与提取特征 ; 最终得到样本特 征 与类别中心 的余弦相似度 :                        (6.6) 。 5.根据权利要求4所述的一种基于 固定类别中心的样本选择方法, 其特征在于, 特征归 一化之后, 使用一个超参数s来缩放 余弦值 , 经过特征归一化的Softmax层的输出为:   (6.7) 经过特征归一化后, 特征在超球面上以角度分布, 最后一个全连接层的参数 为预训 练生成的每个类的中心; 网络全连接层的输出为图片特征与每个类中心的余弦距离 , 记录每张图片与其相应 类中心的余弦相似度:    (6.8) 为第 个样本与其类别中心 的余弦距离; 挑选出与类别中心有着高余弦相似度的样本, 挑选公式如下:                                (6.9) 其中, 为一个可校正的丢弃率, 经 过挑选的图片送入 对等网络更新网络 。 6.根据权利要求1所述的一种基于固定类别中心的样本选择方法, 其特征在于, 在S4 中, 对Softmax层的输出进行平 滑处理, 平滑后的单张图片的交叉熵损失为:                     (6.10) 其中, 为平滑标签向量, 的取值如下:                           (6.11) 。 7.根据权利要求6所述的一种基于 固定类别中心的样本选择方法, 其特征在于, 更新网权 利 要 求 书 2/3 页 3 CN 115439732 A 3

PDF文档 专利 一种基于固定类别中心的样本选择方法

文档预览
中文文档 14 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共14页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种基于固定类别中心的样本选择方法 第 1 页 专利 一种基于固定类别中心的样本选择方法 第 2 页 专利 一种基于固定类别中心的样本选择方法 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-18 22:23:52上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。