(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211414811.7 (22)申请日 2022.11.11 (71)申请人 南京信息 工程大学 地址 210032 江苏省南京市江北新区宁六 路219号 (72)发明人 江结林　崔超　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 朱小兵 (51)Int.Cl. G06V 20/70(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06T 7/00(2017.01) (54)发明名称 一种基于深度学习的布匹缺陷检测方法 (57)摘要 本发明公开了一种基于深度学习的布匹缺 陷检测方法， 包括： 将布匹缺陷数据集通过数据 增强的方式， 提升算法的鲁棒性， 利用多层特征 提取算法， 通过横向连接的自上而下的体系结 构， 将底层位置特征信息与高层分类特征信息相 融合， 提高了不同尺度布匹缺陷的检测 效果， 在 此基础上添加可变形卷积算法， 在卷积中的常规 采样位置 添加二维偏移量， 使偏移之后的采样网 格可以发生形变， 解决了不规则形状布匹缺陷检 测能力弱的问题， 同时， 使用RoiAlign与Cascade   Rcnn卷积神经网络相融合， 通过不断增 强IOU阈 值的方法， 增强了缺陷检测算法在复杂图案背景 下的适应性， 减少了假阳性目标的错误检测， 增 强了布匹缺陷的检测精度。 权利要求书3页 说明书7页 附图8页 CN 115457553 A 2022.12.09 CN 115457553 A 1.一种基于深度学习的布匹缺陷检测方法， 其特 征在于， 包括以下步骤： S1、 创建含有布匹缺陷的布匹图像集； S2、 对步骤S1中的布匹图像集按照缺陷类型进行标注； 布匹图像标注之后形成数据集 进行后续布匹缺陷检测模型的训练； S3、 构建布匹缺陷检测模型； S4、 对S2中的数据集 通过随机 旋转和随机缩放方式进行 数据增强； S5、 利用步骤S4得到的增强后的布匹图像训练步骤S3得到的布匹缺陷检测模型； S6、 通过验证集优化 步骤S5得到的布匹缺陷检测模型； S7、 利用步骤S6得到的布匹缺陷检测模型对目标布匹进行缺陷检测。 2.根据权利要求1所述一种基于深度学习的布匹缺陷检测方法， 其特征在于， 步骤S3 中 布匹缺陷检测模型使用ResNet ‑101 作为 backbone， 并且使用在  ImageNet  的预训练参数 进行初始化。 3.根据权利要求1所述一种基于深度学习的布匹缺陷检测方法， 其特征在于， 步骤S4具 体指： 对布匹图像进行数据增强， 经过 随机反转、 随机旋转、 缩放、 平移、 抖动和添加高斯噪 声的方式进行 数据增强。 4.根据权利要求1所述一种基于深度学习的布匹缺陷检测方法， 其特征在于， 步骤S5 中 训练过程中使用随机梯度下降算法进行优化， 每张图片的学习 率设置为  0.00125， 级联检 测的检测器阈值设置成逐级提高的值， 具体为0.5、 0.6和0.7， 优化参数动量因子和权重衰 减因子分别为  0.9 和0.0001， 在训练过程中， 对学习率进行 热启动。 5.根据权利要求1所述一种基于深度学习的布匹缺陷检测方法， 其特征在于， 步骤S5 中 引入多层特 征提取算法在布匹缺陷检测模型的训练中； 多层特征提取算法第 一个部分为前向传播的卷积神经网络主干部分， 计算出一个缩放 步长为2的特征层次结构， 随后经过卷积和池化， 将特征图大小逐步缩放， 此时的特征图根 据分辨率由大到小分层排开， 将相 邻的几层输出相同尺度的特征图放在一个 stage上， 每一 个stage中最后一层特征层输出作为布匹缺陷特征提取的一部 分， 此时可将这每个bolck的 输出按顺序标记为{C1,C2,C 3,C4,C5}； 多层特征提取算法第 二个部分为语义融合结构， 将特征图通过最邻 近上采样方式得到 更高分辨率及语义更强的特征图， 通过侧向连接取左侧的顶层输出C5， 尺寸为16x16； 经由 1x1的卷积调整通道数后， 所 得的结果即为语义融合结构的顶层， 标记为P5， 尺寸 为7x7； 多层特征提取算法第三个部分通过侧向连接选取左侧的输出C4， 尺寸为32x32， 然后将 M5通过最近邻值插值法进行2倍上采样， 将C4与上采样的结果进行加和， 所得结果标记为 P4， 尺寸为32x32； 以此类推， 运算求得P3和P2， 将上述步骤 所获得的结果按顺序标记 为{P2, P3,P4,P5}。 6.根据权利要求5所述一种基于深度 学习的布匹缺陷检测方法， 其特征在于， 在多层特 征提取算法上采样过程中进 行一次3x3的卷积， 并生成最 终的特征图， 利用自顶向下路径和 横向连接将低分辨率、 语义强的布匹缺陷特征信息与高分辨率、 语义弱的布匹缺陷位置信 息结合， 使得在所有的特 征层次上都具有位置与特 征语义。 7.根据权利要求1所述一种基于深度学习的布匹缺陷检测方法， 其特征在于， 步骤S5 中 引入可变形卷积算法对布匹缺陷检测模型尺度和感受野大小进行自适应， 在正常的布匹缺权　利　要　求　书 1/3 页 2 CN 115457553 A 2陷采样坐标上加上一个位移 量使感受野与物体的实际形状更加贴近， 在两阶段的布匹缺陷 检测算法Faster  Rcnn中， 对于每个输出 ， 从x上采样与卷积核大小一致的z个位置 R， 公式表达如下： R = {(‑1，  ‑1)， (‑1， 0)，  …， (0， 1)， (1， 1)}         (1) 在基于可变形卷积的布匹缺陷检测算法中  R是经过偏移之后的， 则位置   的表达式 为：          (2) 式中， w为采样值的加权， x为输入特 征映射， 为公式 （1） R的枚举 将布匹缺陷特 征采样在不 规则且有偏移的位置 中进行； 式中， δ 为随机偏移量， 范围为0 ‑1； 利用双线性插值的方式计算特 征值， 公式表达为：       （3） 式中， 表示任意位置， q为进行变形卷积之前感受野对应的坐标， G表示双线性插值的二维核函数， 为H的横坐标， 为H的纵坐标。 8.根据权利要求1所述一种基于深度学习的布匹缺陷检测方法， 其特征在于， 步骤S5 中 使用一种改进的Cascade  Rcnn卷积神经网络， 通过每次增加0.1 的IOU阈值， 增强缺陷检测 算法在复杂图案背景下的适应性， 减少模型过拟合情况的发生， 改进的Cascade  Rcnn卷积 神经网络的损失函数公式为： （4） 式中 ， 、 分别为每一个t阶段的分类器和回归器， 是交叉熵损失 ， ， ， 是Cascade  Rcnn卷积神经网络L2阶段的损失函数， 为数据 的基础真值， β = 1为权衡系数， [  ]为指示函数， 是数据 在给定阈值的t阶段的标签。 9.根据权利要求1所述一种基于深度学习的布匹缺陷检测方法， 其特征在于， 步骤S5 中， 将改进的Cascade  Rcnn网络与ROI  Align相同融合， 使用双 线性内插的方法获得坐标为 浮点数的像素点上的图像数值， 遍历每一个候选区域， 将候选区域分割成M ×M个单元,使浮 点数边界和每个单元坐标都不进行量化， 每个单元中固定四个坐标位置， 用双线性内插的 方法计算出这四个位置的值， 然后进行最大池化操作， 公式表达为：     (5)权　利　要　求　书 2/3 页 3 CN 115457553 A 3